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В книге изложены основы теории вероятностей и. математиче-_ 
ской статистики. В‘первых пяти главах дается достаточно строгое _ 
изложение основ теории вероятностей в рамках конечномерных _ 
случайных величин на основе традиционных курсов математического _ 
анализа и линейной алгебры. В последующих пяти главах изложены 
основы математической статистики: точечное и интервальное оцени- 
вание параметров распределений, плотностей и функций распределе- 

‹ ния, общая теория оценок, метод стохастических аппроксимаций, . 
— “методы построения’ статистических моделей. . | 

Книга предназначена для студентов и аспирантов факультетов 

прикладной математики вузов и для инженеров. 
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‚ ПРЕДИСЛОВИЕ 


_ Книга написана на основе курсов лекций, читанных 
автором на протяжении ряда лет, студентам факультета 
прикладной математики Московского авиационного ин- 
ститута им. С. Орджоникидзе (МАИ). 

Книга рассчитана на студентов и аспирантов факуль- 
тетов прикладной математики университетов и высших 
технических учебных заведений. Однако она может быть 
полезной и для инженеров и научных работников, кото- 
рым приходится пользоваться статистическими методами 
в прикладных исследованиях, а также для математиков, 
специализирующихся в области теории Е: И 
математической статистики. 

Книга ориентирована в первую очередь на приклад- 
ников. Это определило ее структуру и характер. В ней 


_` дано достаточно строгое изложение основ теории веро- 


ятностей и математической статистики в рамках конечно- 
мерных случайных величин без применения теории меры 
ь функционального анализа. | 

‚За основу построения теории вероятностей принята 
система аксиом А. Н. Колмогорова. Однако аксиомы вво- 
дятся лишь после изучения свойств частот событий и под- 
хода к понятию вероятности ‘как абстрактному понятию, 
отражающему экспериментально наблюдаемую закономер- 

ность в поведении частот событий—их устойчивость. 
_ В результате такого подхода аксиомы теории вероятностей 
вводятся как естественное распространение свойств частот 
событий на вероятности. 

При изучении случайных величин почти везде, осо-_ 
бенно в задачах математической статистики, рассматри- 
ваются сразу векторные случайные величины. Это уси- 
‚ливает прикладную направленность книги, так как в 
болыней части задач практики приходится иметь дело 


5. 


ты МНОГОМёрными случайными векторами (конечными мно- 
жествами скалярных случайных величин). 


_ Для того чтобы приблизить излагаемые методы к _не- 
посредственному: практическому применению с использо-_ 


ванием ЭВМ, в книге. даны ссылки на соответствующие 
стандартные программы вычислений в «Сборнике научных 
программ на Фортране» фирмы 1ВМ [94]. 


Первоначально книга была.задумана только как учеб- 


ное пособие по одноименному курсу, однако затем воз- 


никла необходимость включить в книгу дополнительный 


материал по математической статистике, необходимый 
для выполнения студентами курсовых и дипломных работ, 


а также обеспечения студенческих. научно- -исследователь-_ 


ских работ. В результате книга, кроме основ теории 


вероятностей, содержит краткое изложение всех основных о - 
разделов математической статистики (применительно и 


конечномерным случайным величинам). 

Кроме традиционных вопросов точечного и интерваль- 
_ ного оценивания и общей теории оценок, в книге изло- 
жены метод стохастических аппроксимаций, многомерный 
регрессионный анализ, дисперсионный анализ, факторный 
анализ, теория оценивания неизвестных параметров в 


стохастических разностных уравнениях, основы теории. 


распознавания и проверки гипотез, элементы общей ста- 
‘тистической теории решений, основы метода статисти- 
_ ческого моделирования. 

_В первой главе изучаются основные свойства частот 
событий, дается частотный подход к понятию вероятности 
_и рассматриваются случаи, когда вероятности событий 
можно вычислять непосредственно из соображений равно- 


возможности (равновероятности) различных исходов 
опыта. После этого дается понятие элементарного собы- _ 


тия, формулируются основные аксиомы теории  вероят- 
ностей, вводятся понятия вероятностного пространства, 


распределения вероятностей, условной вероятности, за- 


висимости и. независимости событий и’ выводятся основ- 


ные формулы, непосредственно вытекающие из аксиом, 
в том числе формулы; определяющие биномиальное и — 


полиномиальное распределения. Затем выводится рас- 
пределение Пуассона. 


Во второй главе рассматриваются случайные величины 
и их распределения; изучаются основные характеристики _ 
распределений конечномерных случайных величин — плот- 
ность и функция распределения. Показывается, что плот- 


а 


ность как обобщенная функция, содержащая ‘линейную 
_ комбинацию 6-функций, существует для всех трех типов-. 


случайных величин, встречающихся в задачах практи- 
ки, — непрерывных, дискретных и непрерывно-дискретных. 


Приводится пример случайной величины, не имеющей _ 


плотности такого типа. | 
В третьей главе изучаются числовые характеристики 
случайных величин. Сначала дается определение мате- 
матического ожидания и изучаются основные свойства 
математических ожиданий. Потом дается определение 
моментов второго порядка и изучаются их свойства. 
После этого определяются моменты любых порядков для 
действительных случайных величин. Кроме моментов, для 
действительных скалярных случайных величин даются 
понятия медианы и квантилей. Глава заканчивается изу-_ 
чением одномерного нормального распределения. 
_ В четвертой главе изучаются ‘распределения и услов- 
ные распределения проекций случайного вектора. Выво- _ 
дятся формулы для определения плотности проекции — 
‘случайного вектора и ее условной плотности при данном 
значении проекции случайного вектора на дополнительное 
подпространство по данной плотности случайного век- 
тора. Даются понятия зависимости и независимости слу- 
чайных величин. Определяются условные моменты. Изу- 
_ чаются многомерное нормальное распределение и харак- 


^ теристические функции случайных величин. 


В пятой главе излагаются методы нахождения рас-. 


- пределений функции случайных величин по данным рас- 


пределениям величин-аргументов. Рассматриваются общий 


метод определения функций распределения функций 


‚ случайных величин, два метода определения плотностей — 
метод сравнения элементов вероятности и метод 6-функ- 
ций— и метод определения характеристических функций. 
Дается доказательство предельной _ теоремы для сумм 


_ Независимых случайных величин в случае одинаково рас-_ 
_пределенных слагаемых. В качестве примеров применения — 
_ общих методов приводится вывод основных распределе- 


ний, встречающихся в математической статистике. 
В шестой главе сначала дается постановка основной 
задачи математической статистики — задачи оценивания 


_ неизвестных вероятностей событий, распределений сЛу- 
_ чайных величин и их параметров. Затем рассматриваются 
_ основные виды сходимости последовательностей случайных 
_ величин, даются общие определения, касающиеся оценок 


и доверительных областей, и. излагаются основные методы. 

нахождения доверительных областей для неизвестных 
‘параметров. После этого изучаются частота как оценка 
вероятности события и оценки моментов, получаемые с 
помощью выборочных средних. Глава заканчивается из- 
`’ложением основных методов проверки гипотез о пара- 
метрах распределений. 

В седьмой главе излагается общая теория оценок 
параметров распределений и основные методы нахождёния 
-оценок — метод максимума правдоподобия и метод момен- 
тов. Изучается рекуррентное оценивание корня уравнения 
регрессии и точки экстремума регрессии методом сто- 
хастических ‚аппроксимаций. 

В восьмой главе излагаются основные методы оцени- 
вания плотностей и функций распределения случайных о 
величин и методы приближенного аналитического пред- 
ставления распределений. Излагаются методы проверки _ 
гипотез о распределениях по критериям К: Пирсона, 
А. Н. Колмогорова и Н. В. Смирнова и рассматри- 
вается ОЦенизание параметров распределений методом 
минимума 5?. В последнем параграфе дается краткое 
изложение метода статистического моделирования как 
‚метода приближенных вычислений и как метода научного 

исследования. > 

В девятой главе изучаются регрессионные статисти- 
ческие модели. Сначала излагается общий метод опре- 
деления средней квадратической регрессии в заданном 
классе функций, в частности линейной средней квадра- 
тической регрессии. Потом излагаются методы оценива- 
‚ния линейных регрессий (регрессионный анализ) и методы 
проверки гипотез о регрессиях. Наконец, из общей теории 
построения линейных регрессионных моделей. выводятся 
основы теории дисперсионного анализа. 

_ В десятой главе изучаются статистические модели 
других видов. Сначала рассматриваются модели, описы- 
ваемые разностными уравнениями, в частности модели. 
авторегрессии, излагается метод оценивания последова- 
тельностей ‘случайных величин, определяемых разност- 
ными уравнениями, и неизвестных параметров в раз- 
ностных уравнениях и применение этого метода к линей-. 
ным и нелинейным моделям авторегрессии. Затем изуча- 
ются некоторые методы построения факторных моделей 
(элементы факторного анализа) и модели распознавания. 
Показывается общность некоторых задач распознавания 
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и Задач проверки гипотез о параметрах распределений. 
_ В последнем параграфе дается краткое изложение эле- 
ментов статистической теории решений (методов построения _ 
моделей процессов принятия решений). = 

В каждой главе книги принята своя нумерация пара- 
графов, пунктов, формул и примеров. При ссылках на’ 
параграфы, пункты, формулы и примеры в пределах одной 
главы указываются только их номера в этой главе. При 
ссылках на параграфы, пункты, формулы и примеры из 
других глав перед номером параграфа, пункта, формулы 
или примера ставится номер соответствующей главы, 
отделенный от номера параграфа, пункта, формулы или 
примера точкой. Так, например, $ 2, п. 3.4, (72) и при-. 
мер 5 означают ссылки на $ 2, п. 3:4, формулу (72) и 
пример 5 той же главы, в которой даны эти ссылки; 
$ 5.3, п. 5.2.3, (5.26) и пример 5.17 означают ссылки на. 
$ 3, п. 2.3, формулу (26) и пример - 17 главы 5. 

Ссылки на литературу даны номерами соответствую- 
щих литературных источников в приложенном в конце 
книги списке, заключенными в квадратные скобки. Автор _ 
ни в какой мере не претендует на полноту приложен- 
ного списка литературы. В нем указаны только те ис- 
точники, на которые даются ссылки в тексте. 

Для удобства читателей формулировки всех основ- 
ных результатов и предложений выделены курсивом. 
Начало и конец выводов, доказательств и рассуждений, - 
приводящих к определенным результатам, отмечены за- 
‘черненными треугольными указателями }> и «4. 

В главах 6—10 дано лишь краткое изложение основ- 
ных методов современной математической статистики. 
‘конечномерных случайных величин. Для более глубокого 
и полного изучения математической статистики можно 
рекомендовать книги Г. Крамера [45|], М. Кендалла и 
А. Стьюарта [35], С. Уилкса [103]. С.Р. Рао ` [86], 


_-Т. Андерсона Ув а также книги по различным разделам 


‚математической статистики, на которые даны ссылки в 
главах 6 — 10. к 
Для изучения математических‘ основ теории вероят- 
ностей рекомендуем книги М. Лоэва [51], Ж. Невё [64] 
и П. Л. Хеннекена и А. Тортра [119]. 
Для справок по математическому анализу рекомен-. 
_дуем книги В. И. Смирнова [56, т. 1, т. 2], Г. М. Фихтен- 
_ гольца |109], С. М. Никольского [69], по линейной ал- 
гебре —книги В. И, Смирнова [96, т. 3, ч. 1], А. И. Маль- 
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са 


— цева 1561, Л. Н.  омовиной (81, по -чеории матриц — —- 
книги Ф. Гантмахера [16], п. Ланкастера 148], М. Е — 


— _куса и Х. Минца ]|57]. 


Последний параграф главы 8 («Метод. статистического. 
моделирования») и главы 9, 10 написаны при активном 


_ участии И. Н. Синицына, который помог также отредак- 


_ тировать всю рукопись. Без его помощи книга, вероятно, 
еще не скоро была бы написана. Считаю своим приятным 
долгом выразить И. Н. Синицыну глубокую признатель- 
ность за его неоценимую помощь. 


Глубокую благодарность приношу также Н. И. Андре- | ге 


еву и Н. М. Сотскому за ценные замечания ‘и дискус- 
сии, способствовавшие значительному улучшению, руко- 
писи, И. В. Синицыной, взявшей на себя труд неодно- 
кратной перепечатки ‘различных вариантов рукописи, 
Н. С. Беловой, О. В. Тимохиной, А. С. Пиунихину, 
И.Д. Силуяновой ив. Чулюкановой за помощь в 
оформлении рукописи, С. Я. Виленкину за консультации. 


по вычислительным аспектам изложенных в книге методов — 


_и за организацию вычислений на ЭВМ для ряда примеров. 


В. С. Пугачев _ 
— Москва ее 
Апрель 1978 г. 
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Глава | 


ВЕРОЯТНОСТИ СОБЫТИЙ 


$ 1. Случайные явления 


1.1. Примеры случайных явлений. Человек в своей 


практической деятельности на каждом шагу встречается 


со случайными явлениями. Без них не протекает ни один 
процесс. Простейшим примером случайных явлений слу- 
жат ошибки измерений. Мы знаем, что абсолютно точных 
измерений не существует, и чем точнее измерительный 
прибор, тем это более заметно. Измеряя один и тот же 
предмет, например взвешивая его на аналитических весах 
много раз, мы всегда получаем близкие, но различные 
результаты. Это объясняется тем, что результат каждого 


измерения содержит случайную ошибку и результаты 


разных измерений содержат различные ошибки. Предви- 
деть, какова будет ошибка данного конкретного измере- 
ния, или даже определить ее после измерения принци- 


пиально невозможно. Производя ‘экспериментальное 


исследование какого-либо явления и систематизируя ре- 
зультаты в виде графических зависимостей, мы убежда- 
емся в том, что экспериментальные точки, если их до- 


_статочно много, никогда не ложатся на одну кривую, 
‚а всегда заполняют некоторую полосу, т. е. имеет место 


случайный разброс экспериментальных точек: Этот разброс 
объясняется как ошибками Е так и действием 


_ других случайностей. - 


Вторым примером случайных явлений может служить 
рассеивание снарядов. Снаряды никогда не ложатся в 
одну и ту же точку, даже тогда, когда прицеливание 
производится по одной точке. Казалось бы, условия 
одинаковы для всех выстрелов. Однако снаряды летят 
по разным траекториям и попадают в различные точки. 


_Предвидеть заранее, в какую именно точку попадет 


данный снаряд, принципиально невозможно потому, что 


мы не можем абсолютно точно знать параметры состояния 


тоефЕры во всех точках траектории, по которой летит 
—. 


снаряд, а от этих параметров зависят аэродинамические 
силы и их моменты, действующие на снаряд. 
_ В качестве третьего примера случайных явлений 
укажем отказы различных ‘технических устройств. Как. 
бы совершенна ни была современная техника, иногда 
происходят отказы тех или иных приборов. Отказ при- 
_ бора —случайное явление. Невозможно заранее предви- 
деть, откажет он или нет, и если откажет, то в какой 


_ момент времени. 


К случайным явлениям относятся также шумы при 
приеме радиопередач. Так называемый «эфир» всегда 
насыщен различными электромагнитными излучениями, 
источниками которых служат электрические разряды в 
атмосфере, движение атмосферного электричества, рабо- 
тающие электрические устройства, созданные человеком, 
и т. п. Поэтому, как бы мы ни настраивали приемник 
на излучение интересующей нас станции, в него всегда. 
попадают посторонние излучения, которые мешают слу- 
°шать станцию, особенно удаленную. Это проявляется в. 
том, что наряду с принимаемой передачей мы слышим 
в репродукторе шум и потрескивания. Это хорошо зна- 
комое всем явление тоже представляет собой случайное 
явление, так как невозможно заранее предсказать, когда 
и какое постороннее электромагнитное излучение попадет 
в приемник. Избежать же попадания посторонних излу- 
чений в приемник принципиально невозможно, раз он 
предназначен для приема о электромагнитных из- 
‘лучений. 

| Испытываемая нами иногда при полете на самолете. 
«болтанка» —тоже случайное явление. Она представляет 
собой случайные колебания самолета, вызываемые слу- 
чайными порывами ветра в неспокойной атмосфере, 

1.2. Природа случайных ‘явлений. Как и всякие яв- 
ления, случайные явления вызываются вполне опреде- 
ленными причинами. Все явления окружающего нас мира 
взаимно связаны и влияют одно на другое (закон все- 
общей связи явлений). [Гоэтому каждое наблюдаемое 
_ явление связано причинной зависимостью с бесчисленным 
множеством других явлений и течение его зависит от ` 
бесчисленного множества факторов. Проследить все это 
бесконечное множество связей и определить действие 
каждой из них принципиально невозможно. Поэтому, 
изучая то или иное явление, человек ограничивается 
лишь основными факторами, определяющими его течение, 
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и пренебрегает огромным количеством второстепенных 
явлений. Это дает возможность глубже проникнуть в. 
сущность явления, установить его закономерность. Вместе 
_ с тем, поступая так, человек обедняет явление, схема- 
`тизирует его. Иными словами, он заменяет изучаемое 
явление подходящей упрощенной его моделью. Вледствие 
этого любой закон науки отражает сущность изучаемого 
явления, но он всегда значительно беднее, уже самого 
явления. Никакой закон не может характеризовать яв- 
ление всесторонне, во всей полноте и многообразии. 
Наблюдаемые в реальном явлении отклонения от законо- 
мерности, вызываемые совместным действием бесчислен- 
ного множества. неучтенных факторов, и представле. 
собой случайные явления. 

При экспериментальном изучении какого- ‘либо явле-. 
ния с целью установления его закономерностей приходится 
наблюдать его многократно в одинаковых условиях. При 
этом под одинаковыми условиями мы понимаем одинако- 
вые значения всех количественных характеристик' конт- 
ролируемых факторов. Все неконтролируемые факторы 
будут при этом различными. Вследствие этого действие 
контролируемых факторов будет практически одинаковым о 
при разных наблюдениях одного и того же явления. 
В. этом как раз и проявляются законы данного явления. 
Случайные же отклонения от закономерности, вызванные . 
действием неконтролируемых факторов, будут‘ различ-. 
‚ными при разных наблюдениях, причем предвидеть за- 
ранее, какими они будут при данном Е - наблю- 
дении, принципиально невозможно. | 

Роль случайностей ‘в разных явлениях различна. 
В некоторых явлениях случайные отклонения от законо- 
мерностей настолько малы, что их можно не учитывать. 
Однако есть и такие явления, в которых невозможно 
подметить никаких закономерностей и случайность играет 


_ основную роль. Примером такого явления ‘может служить 


движение малой частицы твердого вещества, взвешенной 
В жидкости, так называемое броуновское движение. Под 
действием толчков огромного количества движущихся. 
молекул жидкости частица движется совершенно беспо- 
рядочно, без всякой видимой закономерности. В подоб- 
ных явлениях сама случайность является м. 
ностью. 

При многократном наблюдении случайных явлений 
в них самих можно заметить определенные закономер-_ 
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_ ности. Изучив эти закономерности, человек получает 
возможность в известной степени управлять случайными 
явлениями, ограничивать их влияние, предсказывать 
результаты их действия и даже ‘целенаправленно исполЬ- 
зовать их в своей практической деятельности. Так, ‘на- 
пример, можно ‘проектировать измерительные системы, 
обладающие максимальной доступной точностью, радио- 
приемные устройства с максимальной помехозащищен- 
ностью, обладающие минимальным уровнем шумов, си- 
стемы управления движёнием летательных аппаратов,. 
обеспечивающие наибольшую возможную точность нави- 
гации или наименьшее действие «болтанки» на летательный 
аппарат. Можно также проектировать технические си- 
стемы, обладающие заданной надежностью. 
1.3. Массовые случайные явления. Из сказанного ясно, 


что закономерности случайных явлений могут прояв- 


ляться только при их многократном наблюдении. Отсюда 
‚можно сделать вывод, что изучению поддаются только 
такие случайные явления, которые можно, по крайней 
мере принципиально, наблюдать много, практически не- 
ограниченное число раз. Такие случайные явления на- 
зываются массовыми. Здесь следует заметить, что для 
изучения массовых случайных явлений нет никакой 


необходимости в том, чтобы взе их можно было факти-. 


чески наблюдать много раз. Изучив закономерности про- 


_. стейших случайных явлений и построив на основе этого 


изучения соответствующую теорию, можно после этого 
теоретически изучать и более сложные случайные явле- 
_ния, в ТОМ числе и такие, которые не поддаются непо- 
средственному наблюдению (но которые принципиально 


мыслимо наблюдать `неограниченное число раз). Так, 


например, в‘процессе проектирования космического ко- 
рабля, предназначенного для одного-единственного полета, 
можно исследовать надежность всего комплекса средств, 
обеспечивающих полет, произвести их расчет так, чтобы 
получить практическую уверенность в том, что все эти 
средства будут работать безотказно и полет поойдет 


благополучно. Сила науки в том и состоит, что, будучи _ 


основана на небольшом числе простейших положений, 
взятых из непосредственного наблюдения, она’ позволяет 
открывать и предсказывать новые факты ООреТичСЕН 
путем, без непосредственных наблюдений. 

1.4. Предмет теории вероятностей. Изучением закбно- 
_ мерностей массовых случайных явлений занимается осо- 
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бая математическая наука — твория вероятностей. Методы 


теории вероятностей, называемые вероятностными или 


ы статистическими, дают возможность ‚ производить рас- 


четы, позволяющие делать определенные практические 


_ выводы относительно случайных явлений. Как и всякая 
_ прикладная наука, теория вероятностей нуждается в ис- 
_ ходных экспериментальных данных для расчетов. Раздел о 


теории вероятностей, изучающий методы обработки ре-_ 


°  Зультатов опытов и получения из них необходимых дан- 
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ных, называется математической статистикой. 
Теория вероятностей является МОЩНЫМ инструментом 
исследования, и поэтому она находит болыпое число 


самых разнообразных применений в различных областях 
науки и инженерной практики. Области ее применения 


непрерывно расширяются. В прошлом веке теория веро- 
ятностей получила применение в теории измерений, в 
теории стрельбы и в физике. В нашем веке она посте- 
пенно проникла в аэродинамику и гидродинамику, радио- 
технику, теорию управления, динамику полета, теорию | 
связи, строительную механику, теорию механизмов и 
машин, теорию волнения моря и качки кораблей, метеэ- 
рологию и во многие другие области знания.` Сейчас 


- Трудно назвать отрасль науки, которая не пользовалась 


бы вероятностными методами. В современной теории про- 


цессов управления, в теоретической радиотехнике теория 


вероятностей стала основным инструментом исследований. 
Вся теория современных сложных систем и процессов 
‘управления основана на применении статистических ме- 
тодов. Теория вероятностей служит фундаментом для 
теории надежности технических систем и для многих 
других прикладных научных теорий. 

Этот процесс непрерывного расширения областей при- 
менения теории вероятностей вполне. естествен и. легко 
объясняется..Дело в том, что. в начале развития каждой 
отрасли науки человек стремится открыть основные за- 
‘коны этой науки и ему достаточно довольно грубого 


_ совпадения результатов расчета с данными опытов. Кроме 


того, техника эксперимента ‘на начальной стадии несо- 
вершенна и не может обеспечить высокую точность из- 
мерений. По мере развития науки требования к точности 


расчетов повышаются, техника эксперимента совершен- 


ствуется, и случайные явления, которыми можно было 
пренебрегать в начале развития данной отрасли науки, 
начинают играть все более и более значительную роль. 
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В результате старая теория начинает во многом расхо- 
диться с экспериментальными данными и возникает не- 
обходимость обратиться к теории вероятностей. Теория 
вероятностей во всех таких случаях неизменно дает 
новую теорию, более точно описывающую изучаемые 
явления и обеспечивающую совпадение результатов тео- 
ретических расчетов с экспериментальными данными. Так 
случилось в начале тридцатых годов с теорией турбу- 
лентности в аэродинамике и в сороковых годах с теорией 
автоматического управления и радиотехникой, а потом 
и с другими прикладными научными теориями. 

Особенность вероятностных методов состоит в.том, что 
они рассматривают исследуемое явление в целом, изучают 
результаты совокупного действия всех причинных связей, 
‚ которые невозможно проследить по отдельности. 


$ 2. Статистический подход к описанию 
случайных явлений 


2.1. Опыт, событие, случайная величина. Исходным 
пунктом для построения теории вероятностей, каки лю- 
бой другой теоретической науки, служат некоторые экспе- 
риментальные факты, на основе которых формируются 
соответствующие абстрактные понятия. Чтобы рассказать 
об этих фактах, необходимо ввести некоторые термины. 
_ Будем называть опытом “наблюдение какого- нибудь 
явления при выполнении некоторого комплекса условий 
и действий, который должен каждый раз строго выпол-_ 
няться при повторении данного опыта. Наблюдение того 
же явления при другом комплексе условий и действий 
будет уже другим опытом. 

„Результаты опыта можно характеризовать качественно 
_и количественно. 

Качественная характеристика опыта состоит в реги- 
сетрации какого-нибудь факта, т. е. в определении того, 
обладают результаты опыта каким-либо свойством или 
нет. Любой такой факт называется событием. При этом 
говорят, что «событие появилось (произошло)» или «со- 
бытие не появилось (не произошло)» в результате опыта. 

Примерами событий могут служить отказ прибора 
в данном интервале времени, попадание и промах при 
выстреле, получение т попаданий при п выстрелах. 

События обозначаются прописными латинскими бук- 
вами, обычно начальными, например А; 8, С; 
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Количественная характеристика опыта состоит в опре- 
делении значений некоторых величин, полученных `в ре- 


зультате опыта. Такие величины, которые могут прини- - 


мать в результате опыта различные значения, причем до 
опыта невозможно предвидеть, какими именно они будут, 
_ называются‘ случайными. величинами. 

Примерами случайных величин могут служить ошибки 
и результаты измерений, время безотказной работы при- 
бора или системы, рост и вес наугад выбранного человека, — 
координаты точки попадания (разрыва снаряда) при вы-_ 
стреле, число попаданий при п-выстрелах. | 

Мы будем обозначать случайные величины прописными 
буквами, преимущественно из конца латинского алфа- 
вита, а их конкретные значения — соответствующими 
малыми буквами. Например, случайные величины будем 
обозначать Х, У, 1, а их конкретные значения, полу-. 
чаемые в результате опыта, — соответственно х, у, г. Эти 
значения называются возможными. значениями или 'реали-. 
зациями случайных величин а 
°С каждой случайной величиной можно связать раз- 
личные события. Типичным событием, связанным со слу- 
чайной величиной, является событие, состоящее в том, 
что эта случайная величина примет в результате опыта. 


какое-нибудь значение, принадлежащее данному множе- — 


ству, безразлично какое именно. Такое событие коротко 
называется попаданием случайной величины в данное мно- 
_жество. | 

2.2. Частота события. Естественно сравнивать события 
по тому, как часто каждое из них появляется при повторе-. 
нии данного опыта. Если при повторении опыта одно собы- 
_ тие появляется: чаще, чем другое, то говорят, что первое 
вероятнее второго. Ясно, что для сравнения событий 
необходимо предположить, что данный опыт можно про- 
изводить сколько угодно раз. В дальнейшем будем гово- 
рить для краткости «производится п опытов» вместо 
«данный опыт производится и раз». 

Частотой события ` называется отношение числа его 
появлений к числу всех произведенных опытов. 

Таким образом, если при й опыгах событие А появи- 
лось т раз, то его частота в данной серии Чиытов 
‘равна т/п. 

2.3. Условные частоты. В некоторых случаях частоту. 
события приходится определять пои дополнительном 
уовиИ, что произошло т другое событие. Чтобы 


ча. 


определить частоту события: А при условии, что произд- 
шло событие В, необходимо учитывать не все произве- 


денные опыты, а только те из них, в которых произошло _ 


‘событие В. . 
Таким образом, если из п произведенных опытов со- 
бытие В появилось в т опытах, причем в Ё из этих т 


опытов появилось и событие А, то частота события А. 


при условии, что произошло событие В, равна к/т. Эта 
частота, как правило, не совпадает с частотой события А, 
вычисленной с учетом всех ‘ий произведенных опытов. 


Частота события А,’ вычисленная с учетом только. 


тех из произведенных опытов, в которых появилось ‘со- 
бытие В, называется условной частотой события А отно- 
сительно события В. 
_ 2.4. Свойства частот. Событие называется невозможным 
и обозначается ©, если оно не может произойти в резуль- 
тате данного опыта. Событие называется достоверным и 
обозначается “2, если оно обязательно происходит в ре- 
зультате данного опыта, т. е. не может не произойти. 
События А.,..., А, называются несовместными в дан- 


ном опыте, если в результате этого опыта никакие два : 


из них не могут появиться вместе. Например, попадание 
и промах при одном выстреле, выпадение | очка, 2 очков 
и 3 очков при одном бросании игральной кости. 

Два события, несовместные в одном опыте, могут 
оказаться совместными в другом опыте. Например, по- 
падание и промах несовместны при одном’ выстреле. 


Однако они совместны, если за И опыт считаются. 


два выстрела. 


После приведенных определений можно перейти к изу- 


чению основных свойств частот событий. 


1) Частота любого события представляет собой неот-* 


рицательное число, не превосходящее |, причем частота 
невозможного события равна 0, а частота достоверного 
_ события равна 1. 

2) Частота появления одного из несовместных событий, 


безразлично какого именно, равна сумме их частот. Это 


следует ‘непосредственно из того, что число появлений 
сложного события, представляющего собой появление 
какого-нибудь из несовместных событий, равно сумме. 
чисел появлений этих событий. 

3) Частота совместного появления двух событий А и 
В равна частоте одного из них, умноженной на условную 
частоту другого. Для доказательства достаточно заметить, 
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что если при п опытах А появилось-т раз, а В—А раз, 
- причем [ раз вместе с ДА, а А—{ раз без А, то частота. 


совместного появления Ди В ‚равна {//п, частота А рав- 


на т/п, а условная частота В относительно А равна рт. 


Очевидно, что еслй частота события в данной серии — 
опытов равна 0 (или 1), то из этого не следует, что событие 
невозможно (достоверно). Так, например, если при пяти 
бросаниях монеты герб не появился ни разу, то из этого 


не следует, что появление `герба невозможно. 


2.5. Вероятность события. Замечательный экспери- 


ментальный факт—основная закономерность, наблюдаемая 


в массовых случайных явлениях, — устойчивость частот 
событий при болышом числе опытов. Если при малом 
числе опытов частота события принимает совершенно 
случайно различные значения, то при неограниченном - 
увеличении числа -опытов она проявляет тенденцию ста- 
билизироваться около некоторого характерного для дан- 
ного события значения. - 

Допустим, что некоторый опыт неограниченно повто- 


_ряется и после каждого опыта вычисляется частота со- 


бытия с учетом всех уже произведенных опытов. При 
этом обнаруживается, что вначале, когда число произ- 
веденных опытов мало, случайный результат каждого 
опыта существенно изменяет частоту события. Однако 
по’ мере возрастания числа опытов влияние результата 
каждого нового опыта уменьшается. Так, например, 
результат тысячного опыта изменяет частоту меньше, 
чем на 0,001. Частота как бы стремится перестать быть 


случайной. и стабилизироваться около ее зна- 


чения. 

Устойчивость частот событий дает основание считать, 
что с каждым событием связано некоторое число — веро- 
ятность этого события, — около которого стремится ста- 


билизироваться. его частота. Так, например, частота 


появления герба при бросании монеты, очевидно, должна 
стабилизироваться около 1/2. Следовательно, Верона 


‚ появления герба равна 1/2. 


Вероятность события А обозначается Р’/(А). Это, ко- 
нечно, не исключает применения сокращенных обозначе- 
ний, например Р(А)=р ит. п. 

Понятие вероятности события является первичным 
в теории вероятностей и поэтому не нуждается в опре- 
делении. Оно представляет собой результат абстракции, 


_необходимой для построения любой теории. Отвлекаясь 
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от сложных и несущественных колебаний частоты при 
неограниченном повторении опытов и оставляя основную, 
существенную закономерность, наблюдаемую’ в данном 
явлении, — устойчивость частоты, —мы и вводим абстракт- 
ное понятие вероятности события. 

Вероятность события в данном опыте —его объектив- 

ная характеристика. Она имеет вполне определенное 
значение независимо от того, собираемся мы производить 
опыты или нет. . 
_ 2.6. Выборочное среднее. Основная задача экспери- 
ментального изучения случайных величин состоит в том, 
чтобы установить, как распределяются экспериментальные 
‚ точки на числовой оси, на плоскости или в пространстве. 
Совокупность значений наблюдаемых величин, полу- 
‘ченных в результате опытов, называется выборкой. 

Получив выборку, необходимо прежде всего’ опреде-. 
лить положение значений случайной величины на число- 
вой прямой и их рассеивание, т. е. размеры занимаемой 
ими области. 

За ‘характеристику положения экспериментальных. 
точек обычно принимают среднее арифметическое значе- 
ние случайной величины, называемое выборочным средним. 

‚Предположим, что случайная величина Х приняла 
в результате и опытов значения х,, ...,х,. Тогда выбо-. 
рочное среднее определяется формулой 


=, 7% т (1) 


2. Ур Выборочные дисперсия и «среднее. квадратическое 
отклонение. За экспериментальную характеристику рас-. 
сеивания значений скалярной случайной величины обычно 
принимают среднее арифметическое значение квадратов о 
отклонений экспериментальных значений случайной ве- 
личины от выборочного среднего. Эта характеристика 
называется выборочной дисперсией случайной величины. 

Если в результате .п опытов случайная величина Х 


приняла значения х,, ..., х,, то ее выборочная диспер- 
сия определяется формулой 
о = 
== У, (к), (2) 
г К=| 


Недостатком выборочной дисперсии с практической 
точки зрения является отсутствие наглядности — она имеет 


56 _ | . 


_ размерность квадрата случайной величины. Поэтому за! 

практическую характеристику рассеивания значений слу- 

чайной величины обычно принимают выборочное среднее 

_ квадратическое отклонение, представляющее собой поло- 

жительный квадратный корень из выборочной т 
+У 4. 

т практических расчетов формуле (2) часто при- 
дают более улОию форму. Имея в виду, что на осно- 
вании (1) 

> — 
>: (ж—х) = ро Ж— 9х 2: Хх» - пх? = Хё—пХ?, 


г 


можем переписать (2) в виде 
п $ 
Е м о 

фо, #4 к _ (3) 


При этом, чтобы избежать разности больших чисел, 
в случае необходимости из всех. экспериментальных зна- 
чений х,, ..., Хх, вычитают произвольное число, распо- 
‘ложенное в середине интервала, занимаемого этими _зна- 
чениями (правило «ложного нуля»). \ 

2.8. Метод наименьших квадратов. При совместном _ 
изучении нескольких случайных величин, кроме их вы- 
борочных средних и дисперсий, необходимо определить _ 
еще какие-то характеристики зависимости между ними. 

Для отыскания приближенных зависимостей между 
изучаемыми экспериментально величинами обычно поль- 

зуются методом наименьших квадратов. 

_ Предположим, что требуется найти зависимость между 
наблюдаемыми величинами х и у (не обязательно слу- 
чайными). Для этого обычно выбирают подходящую 
функцию, зависящую от некоторых — параметров, 
ф(х; с, ..., см), например линейную комбинацию № 
‚ определенных функций с неопределенными коэффициен-. 
тами, и подбирают параметры с., ..., См так, чтобы 
сумма квадратов ошибок приближенной зависимости 
уха, > см) во всех экспериментальных точках 
была минимальной: 


п > 
9 = № [ув—Ф (мы; сь +. ., сур = ша. 


В этом и состоит метод наименьших квадратов. 
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Для минимизации 6 можно пользоваться различными _ 


методами отыскания экстремума функции, В зависимости 


от способа задания функции и сложности ее вычисления. 
В частности, можно применить’ обычный, метод прирав--_ 
нивания нулю первых производных 8 по бе 


решения полученных уравнений относительно Сс1, ..., См 


с последующим исследованием поведения функции 6 — 


в окрестности найденного решения. 

2.9. Выборочные_ ковариация и коэффициент корреля- 
ции. Предположим, что случайные величины Х и У при- 
няли в результате п опытов пары значений х,, и,, ... 


.... Х,, И,. Чтобы найти подходящую характеристику. 


зависимости между величинами Х иУ, подберем методом 
__ наименьших квадратов наилучшую линейную зависимость 
У от х вида 


где х и у— выборочные средние р АИ-Е соот- 
ветственно. 


Для определения коэффициента св (4) методом наи- 


меньших квадратов приравниваем нулю производную 
по с суммы а. ошибок во всех экспериментальных 
точках 


—- о б= р [ие — ЮР. 


Решив полученное ‚уравнение относительно с, находим 
В` сам (2). 


У (в) (ив -Й ть 
с=. "= === (х.—х) ти у. 
> (хв-х)8 ‹ "4 х 
Р=1 и. 
Величина Е | 
* 1 С дет Е ы 
К-т, (»—®) (%—9) — (5) 


называется выборочной ковариацией величин Х и У. _ 
За меру зависимости между Х и У принимают - 


мерную величину. = 


уе  _ 


22 


уу =с(х— 2, _ (4) 


Е 
А 


ы р «м» а 4 + 
РУАН АИИС РЕ ТТТ РЕЛЕ ОИ ИЕ ОЕ Л ИЯ ТТИ ТИ ре 


НаЗываёмую выборочным а корреляции веё- 
личин Хи7. 
Так как 


(хь—х) (и. — у = > хвик— Хх > и — ух хь-- пху = 


715 
^ 


< 
И 
— 
НЫ 
— 


то формулу (5) можно переписать в виде 
- ЕЕ х Иа 
бои 
=] 


Этой формулой обычно и пользуютея на практике. При 
этом в случае необходимости из координат всех экспе- 
_риментальных точек вычитают соответствующие коорди- 
`наты какой-нибудь точки, расположенной в середине 
области, занятой точками, чтобы избежать разностей: 
близких величин. 

Пять чисел х, у, ее. ху ИЛИ х; И, 9% 0%, ге, СЛУ 
жат грубой характеристикой распределения эксперимен- 
тальных точек на плоскости. Точно так же распределе-_ 
ние экспериментальных точек в т-мерном пространстве, | 
полученное в результате совместного наблюдения гп слу- 
чайных величин, можно характеризовать выборочными о 
средними, дисперсиями (средними квадратическими от- 
клонениями) и ковариациями о ковре 
ляции} *). 

2.10. Гистограмма. Чтобы получить более полное 
представление о распределении экспериментальных точек, 
обычно разбивают занятую ими область на интервалы 
(прямоугольники, параллелепипеды) и вычисляют частоты 
попадания в эти интервалы (прямоугольники, паралле- 
лепипеды). Разделив эти частоты на длины интервалов 
(площади прямоугольников, объемы параллелепипедов), 
‘получают относительные плотности экспериментальных 
‘точек в соответствующих частях области, занятой экспе- 
риментальными точками. Полученное таким образом: рас- 


| *) Для вычисления выборочных средних, дисперсий, ковариаций 
и коэффициентов корреляции в «Сборнике научных: а на 
ры [94] служит Ея программа СОККЕ. 
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пределение экспериментальных точек можно изобразить 
графически, построив на каждом интервале прямоуголь- 
ник, высота которого равна значению относительной 
плотности экспериментальных точек в этом интервале 
(рис. 1). Полученная в результате ступенчатая кривая 
называется гистограммой. \ 

При: вычислении гистограммы интервалы (прямоуголь- 
ники, параллелепипеды) рекомендуется выбирать так, 


чтобы в каждом интервале было по меньшей мере 10 то- 
_ чек (для обеспечения этого можно брать интервалы раз- 
ной длины). Легко понять, что гистограмму можно по- 
строить только при достаточно большом числе экспери- 
ментальных точек (для одномерной _ ристогразаих не 
меньше 100) *). 

2.11. Группированная выборка. Если’ одновременно. 
с построением гистограммы определяются выборочные 
средние, дисперсии и ковариации, то для упрощения _ 
вычислений обычно считают все экспериментальные точки 
в данном интервале (прямоугольнике) совпадающими 
с его центром. Полученная таким путем новая выборка 
называется равной выборкой. 


*), Для построения одномерной гистограммы в [94] служат про- 
Е Ы и ТАВ1, а для построения двумерной гистограм- 
мы — ТАВ2. | | 
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Если пользоваться группированной ыборкой. то фор- 
мулы ()—<), (5) и (7) можно записать в виде 


в а 
х = р 
\= 
и . се _ 
ах =0х ра р Ру о > руху — 7, (8) 


> 56,9 (и,—)= > ‚Рьдьйь— 0, 

и, У=1 
где г—число интервалов, содержащих эксперименталь- 
ные точки, на каждой из осей х, у, х,,...,Х,,. Ул... .И,— 
координаты центров интервалов на соответствующих осях, 
Ра»... р, — частоты попадания в интервалы оси х, а 


ри» (и, у=1, ..., Г) — частоты попадания в прямоуголь- 
ники, на которые разбита плоскость ху *). 

Так же как частота события лежит в основе абстракт-_ 
ного понятия вероятности события, расемотренные экспе-_ 
‘риментальные характеристики случайных величин лежат 
в основе соответствующих в понятий теории 
вероятностей. 


в: 


$ 3. Непосредственное определение вероятностей 


3.1. Равновозможные исходы опыта. Приведенный. 
в п. 2.4 пример опыта с бросанием монеты показывает, 
что. вероятности ‘некоторых событий легко определяются 
непосредственно. Рассмотрим общую схему таких опытов. 
Допустим, что опыт имеет п возможных исходов, так что 
каждое конкретное его осуществление обязательно за- 
канчивается: одним и только одним из этих п исходов, 
причем нет никаких оснований, считать, что при неогра- 
ниченном повторении опыта какой-нибудь один исход 
может появляться чаще, чем любой другой. В этом слу- 
чае вероятность каждого исхода, .очевидно, равна 1/п, _ 
так как их частоты должны стабилизироваться при пов- 
торении опыта около одного и того же числа, а в сумме 
они должны дать 1. Иными словами, данный опыт имеет п 


*) Для вычисления выборочных средних, дисперсий и некоторых 
других характеристик по’ группированной одномерной выборке 
в [94] служит программа МОМЕМ, использующая для вычисления 
частот программу ТАВ]. 
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равновозможных исходов. В нашем примере с бросанием 


_ монеты таких равновозможных исходов. два — появление 


герба и появление цифры,— и вероятность каждого из 
них равна 1/2. 
_ 3.2. Схема случаев. Допустим теперь, что при п рав- 
новозможных исходах опыта нас интересует некоторое 
событие А, связанное с т из этих п исходов так, что 


при любом из этих т исходов оно обязательно появляется 


и не может появиться ни при одном из остальных п — т 
исходов. В таком случае, как легко сообразить, вероят- 


ность события А равна отношению т/п. Принято гово- 
рить, что в данном опыте имеется и случаев и из них 


благоприятствуют событию А. Тогда вероятность собы- 
тия А равна отношению числа случаев, благоприятству- 


ющих событию А, к числу всех равновозможных несов- 
‚местных случаев: Р(А) = ти. 


Пример 1. Опыт состоит в брссании игральной кости, име- 


ющей форму куба, на каждой грани которого проставлено соответ- 
ствующее число очков от |1 до 6. В данном опыте имеется 6 случаев: 


появление одного очка, двух, трех, ‘четырех, пяти. и шести. Так как 
нет никаких оснований предполагать, что, например, два очка могут 


‚появляться чаще, чем пять очков; поэтому вероятность появления 
каждого данного числа очков, например двух, равна 1/6. Рассмотрим 


теперь событие Аб— появление четного числа очков, событие В — 
появление числа очков, кратного трем, и событие С — появление не 
меньше трех очков. Событию А благоприятствуют три случая — по- 


явление двойки, четверки и шестерки; поэтому Р (А) =3/6=11/2.. 


Событию В благоприятствуют два случая — появление. тройки и ше- 
стерки; поэтому Р. (В) =2/6 == 11/3. Ссбытию С благоприятствуют че- 
тыре случая — появление тройки, четверки, пятерки и шестерки; 


поэтому Р (С) =4/6 =2/3. 


Пример 2. В. урне 10 одинаковых шаров. Из них 3 белых и 
7 черных. Шары тщательно перемешивают и после этого из урны 
вынимают один шар. Найти вероятность появления белого шара. 
В данном случае нет никаких оснований предполагать, что при 
повторении опыта какой- ‘нибудь определенный шар будет появляться 


‘чаще, чем любой другой. Например, если шары пронумерованы от 


1 до 10 так, что определить номер шара на ощупь невозможно, то 
нет никаких оснований предполагать, что шар № 1 может появляться 


при повторении опыта чаще, чем шар № 2; шар № З ит. д. Поэтому — 


в данном опыте имеются -10 возможных случаев. Из них 3 благо- 


° приятствуют появлению белого шара, а 7 — появлению черного шара. 


Поэтому вероятность появления белого шара равна 0,3, а вероят- 
ность появления Черного шара равна 0,7. ^ 


3.5. неа вероятности. В некоторых слу- 
чаях, когда опыт имеет бесконечное (несчетное) множе- 


ство равновозможных исходов, вероятности некоторых 
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—> 


А: 


_как отношение площади проекции 


= 


событий можно определять геометрически Как отношения. 


длин отрезков, или площадей, или объемов соответству- 


ющих фигур. 


Пример 3. Поезда метро идут в данном направлении с интер- 


валом. | мин. Какова вероятность того, что пассажиру придется 


ждать поезда не больше 20 с? 

В данном случае нет никаких оснований: считать какой-нибудь 
один момент прихода пассажира в интервале между поездами более 
вероятным, чем любой другой. Интересующему нас событию А -— 


_ожиданию меньше 20 с— благоприятствуют все моменты интервала 
длительностью 1. мин, отстоящие от его конца меньше чем на 20 с. 


Поэтому вероятность события А можно определить как отношение 


важ двух интервалов времени: 
Р (А) =20/60 = 1/3. 


данного калибра агрегатов, при попадании в каждый из которых 
самолет выходит из” строя. При попадании в любую другую часть 
самолета`он может продолжать полет. Площадь проекции самолета 


на плоскость, перпендикулярную траектории. снаряда, состав- 


ляет 100 м2. Площадь проекции уязвимых частей самолета — 12 м?. 
Рассеивание снарядов”Достаточно велико для того, чтобы можно было 
считать, что при большом числе попаданий точки попадания рас- 
пределяются на проекции самолета равномерно. Найти вероятность 
поражения самолета при попадании в него одного снаряда. | 

_ В данном случае имеется бесконечное множество равновозмож- 
ных исходов опыта — попаданий в различные точки проекции само- 
. лета. Допущение о равномерности распределения большого числа 
попаданий по площади проекции самолета дает сснования считать 
все возможные точки попадания в пределах проекции цели равно- 
возможными. Тогда вероятность поражения самолета при одном по- 
падании, равную вероятности того, что точка попадания придется 
на проекцию какого-нибудь уяз- 
вимого агрегата, можно определить 


=. 


уязвимых агрегатов ко всей пло- 
щади проекции самолета. В ре- 
зультате вероятность  пораже- 
ния самолета при одном попада- 
нии в него будет равна 12/100 = 
—=0,1[2. 

Пример 5. На плоскость 
с нанесенными на ней параллель- 
ными прямыми на расстоянии 2а 24 
одна от другой случайно бросается 
прямолинейный отрезок длины 21. 
Найти вероятность того,’ что от- 
резок пересечет хотя бы одну’ из Рис. 2. 
прямых (задача Бюффона об игле). ° 

Положение отрезка относительно прямых можно характеризовать 
двумя координатами: расстоянием х его центра от ближайшей пря- 


Пример 4. Самолет имеет несколько уязвимых для снарядов. 


мой, О<х=<а, и углом 09 его наклона к прямым, 0<09=<1л/2. 


(рис. 2). Очевидно, что отрезок пересекает хотя бы одну из прямых 
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ая 


= 


тогда и только тогда, когда х = «Тот в, Если рассматривать р их 
как прямоугольные декартовы координаты точки на плоскости, то 
область всех возможных пар (9, х) будет представлять собой прямо- 
угольник со сторонами а и п/2 (рис. 3). Событие А — выполнение 
неравенства Е 9 — произойдет тогда и только тогда, когда. 
точка (0, х) попадет в заштрихо- 
ванную сбласть, ограниченную сни- 
зу синусоидой х= [т 9 (на рис. 3 
показан случай [< а). Считая 
все положения точки (9, х) в пре- 
делах прямоугольника равноверо- 
‘ятными, можем вычислить искомую 
вероятность пересечения отрезка с 
одной из прямых как отношение 
площади заштрихованной области 
к площади прямоугольника. При’. 
1<а это даст Р (А) =2Ила. Пред- 
лагаем читателю самостоятельно ре- 
шить эту задачу при [> а. В этом 


‘случае можно поставить задачу определения вероятностей = 


ния двух, трех и т. д. прямых. 


— 


3.4. Вычисление условных вероятностей в схеме слу- 
чаев. Точно так же вычисляются в’ таких случаях ус- 
ловные вероятности. 

Пример 6. В урне 10 шаров—3 белых и 7 черных. о. шар 
вынули и отложили в сторону. Он оказался белым. Найти вероят- 


ность того, что второй вынутый шар окажется белым. 
Пусть событие А--первый вынутый шар оказался белым, `В 


_второй вынутый шар оказался белым. В данном случае нас интере- 


ы 


‘сует условная вероятность события В относительно А. Учитывая ус- 


ловие — появилось событие А, т. е. один шар вынут и он оказался 


белым, — приходим к выводу, что имеется 9 возможных случаев и из -. 


них 2 благоприятствуют событию В. Поэтому Р (В | А) =2/9. $ 

Пример 7. Видоизменим теперь условия предыдущего примера. 
Предположим, что один шар из урны вынули и, не глядя, положили 
в другую урну. Найти верно того, что второй ВыВутый шар 
окажется белым. 

Здесь, несмотря на то, что один шар из урны вынут, возможны 
10 случаев, так как неизвестно, какой именно шар отсутствует. Из 
них 3 благоприятствуют появлению белого шара. Следовательно, ве- 
роятность появления белого шара остается равной 3/10: Чтобы сде- 
лать это совершенно ясным, предположим, что не один, а 9 из 10 
шаров переложили, не глядя, в другую урну. В урне остался один 
шар, но он может быть любым из 10. Поэтому, несмотря на то, что 
в урне всего один шар, возможных случаев 10, а благоприятствую- 
щих появлению белого шара 3. 

Таким образом, несмотря на удаление части шаров, речь в дан- 
ной задаче идет о безусловной вероятности появления белого шара. 
Объясняется это тем, что нет никакого дополнительного условия для. 
данного опыта, вследствие чего вероятность появления белого шара 
не изменилась после удаления из урны части шаров. Условием, из- 
меняющим вероятность события, при котором она заменяется услов- 
ной вероятностью, всегда служит появление некоторого события или 
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предположение о том, что это событие появилось. Поэтому Удаления 
части шаров недостаточно для того, чтобы можно было МЕорить об 
условных вероятностях. Необходимо еще произвести наблюдение и. 
определить, какие именно шары удалены из урны, или сделать пред- 
положение о том, какие шары отсутствуют. : | 
Пример 8. В урне 10 шаров —3 белых и 7 черных. Один шар 
из урны вынут, он ‘оказался белым. После этого шар вернули в урну. 
и все шары тщательно перемешали. Найти вероятность того, что во 
второй раз появится белый шар. | 
В данном случае имеется ‘вполне определенное условие — появи- 
лось событие АЬ— первый вынутый шар оказался белым: Поэтому 
можно говорить об условной вероятности события В —второй выну- 
тый шар оказался белым. Однако число возможных случаев, осталось 
равным 10, а число случаев, благоприятствующих ссбытию В, оста- 
лось равным 3. Следовательно, в. данном случае | 


Р(В|1 А) =Р (В) =3/10._ 


$ 4. Действия над событиями 


4.1. Объединение двух событий. Обзединением или 
симмой двух событий А и В называется сложное собы- 
тие, состоящее в появле- о ди 
нии хотя бы одного из со- 
бытий Аи В. Объединение 
событий А и В обознача- 
ется А | В. Для несовмест- 
_ ных событий А и В при- 
_ меняется также обозначе- 
ние А-В. 

Для иллюстрации на 
‚рис. 4 показано объедине- 
ние двух событий А и В | Рис. 4.> 
для‘ случая, когда событие | 
Апредставляетсобой попадание случайной точки в область, 
_ обозначенную буквой А, а событие В — попадание в об- 
ласть, обозначенную буквой В. Событие АЦВ в этом 


`` 


2) 


о ь. 


— > МЗ" з 


— 


— случае п едставляет - собой попадание В область, граница 
‘котор обведена жирной линией. На рис. 4 показан 
случай, когда области А и В имеют общую часть (пере- 
секаются), т. е. когда события А и В совместны. На 
рис. 5 и 6 показаны случаи, когда области А и В не 
пересекаются, т. е. когда события А.и В несовместны. 
_ 4.2. Пересечение двух событий. /Лересечением или про- 
изведением двух событий А и В называется их совмест- 
ное появление. Пересечение событий Аи В обозначается 
АПВ или, короче, АВ. 
На рис. 4. дана иллюстрация пересечения событий А 
и В в случае, когда событие А представляет собой по- 
падание в область А, а событие В— попадание в об- 
ласть В. Пересечение `АВ ‘событий Ди В представляет 
собой попадание в отмеченную двойной штриховкой общую 
часть областей А и В. 
Приведенные определения объединения и пересечения 
событий легко распространяются на любое число событий. 


4.3. Объединение и пересечение любого множества со-_ 


_бытий. Объединением или суммой. множества событий А,, 


5Е5, которое обозначается Ц А, или р А, (для не- 
$Е$ 
совместных событий), называется онл вые хотя бы од- 
ного из событий А,, $65. 
`Пересечением или произведением множества событий 


и. $Е5, которое обозначается П А,, называется сов- 
$Е$ = | 
местное появление всех этих событий. 


Множество $ значений индекса $ в этих определениях 
может быть конечным, счетным или несчетным.` 
` Если, например, событие А, представляет собой по- 


падание случайной точки в интервал — $1) числовой 


оси, а 5 — конечное множество {0, 112, 1, 3/2, 2}, то Ц А, 

- Е ` 3Е$ 
представляет собой попадание в конечное объединение 
интервалов. | 


_ (0, Пий, 32) (1, 2) 0 (3/2, .5/2) 4 (2, 2% 


‘т. е. в Интервал (0,3). Если © —счетное множество 
Ра. ТО в Ра представляет собой попадание в счет- 
ное о - интервалов К (2 241), т. е. в ин- 


тервал (0, 2). Наконец, если `$— интервал (0, 1/2), то 
20 


ИИ: РА ИРИ, я #- Нин 7% и ой Ик 
: ‹ 


РАН 


ИА, представляет собой попадание в несчетное объеди- 
$Е5 


_нение интервалов (5, $1) при всех $Е (0, 1/2), те 
в интервал (0, 3/2). = = 


4.4. Свойства объединений и пересечений. Операции 


_ объединения и пересечения событий обладают рядом 
‚ свойств, аналогичных свойствам сложения и умножения 


чисел. Например, объединение и пересечение событий ком- 
мутативны: 


АЦ В— В ЧА, АВ= ВА. 
Объединение и пересечение событий ассоциативны: 
(АЦВ)иС=Ац(ВИС) =(АУбиВ=АУВИС, 
(АВ)С=А(ВС) = (АС) В = АВС. | 


Наконец, объединение и пересечение событий дистрибу. 


тивны; 
(АИВ) С АСИВС. 


Все эти свойства ‘непосредственно следуют из опре- 


делений объединения и пересечения сббытий. Так, (АЦ В)С_ 


представляет собой совместное появление события С с со- 


бытием А, или с событием В, или с А и В вместе. Со- 
бытие АСИ ВС тоже состоит в появлении или С вместе 


с А, или С вместе с В, или С вместе с АВ. 

Однако не все законы сложения и умножения чисел 
справедливы для объединения и пересечения событий. _ 
Так, например, события АЦА и АА, очевидно, совпа- 
дают с А. Следовательно, АЦА=АА-А для любого 
события А. = 

4.5. Противоположные события. Для дальнейшего 
изучения действий над событиями необходимо ввести еще 


- понятие противоположных событий. 
Событием, противоположным событию А, называется | 


непоявление Д, которое обозначается А. 
Легко видеть, что событие А противоположно собы- 


ТИЮ А: 
А=А. 
Примерами противоположных событий могут служить 
попадание и промах при выстреле, отказ прибора в дан- 


ном интервале времени и его исправная работа в том же 
интервале времени. 
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| Очевидно, что противоположные события несовместны, 
_ а их объединение представляет собой достоверное событие: 


АДА=С, _ АцА=0.. 
Ясно также, что. 


4.6. Свойства действий над событиями. Легко видеть, 
что для любых событий Ди В событие АуВ про 
положно событию АВ: ее 


АиВ= АВ. 


Е АЦВ есть появление хотя бы одного из. 
событий А и В, что равноценно непоявлению АВ. И. 


вообще для любого множества событий Д., $Е5, 


Событие АВ представляет собой совместное появле- 


ние Ди В, т.е. противоположно появлению хотя бы 
одного ИЗ событий А или В: 


АВ-АЦВ. 


И вообще для любого множества событий А,, $Е$,. 


Последние четыре формулы выражают принцип 
двойственности: операции объединения и пересечения 
меняются местами при переходе к _ противоположным со- 
бытиям. 

Из установленных свойств операций пересечения и 
объединения следует, что для любых событий Аи В 


д = А9=А(ВИВ) = АВУ АВ. | (9) 


Эта формула дает разложение любого события А на два 
непересекающихся события. °‘ 

Если событие А обязательно происходит при появле- 
нии некоторого другого события В, то говорят, что со- 


бытие В представляет собой часть или подсобытие со-. 


бытия А и`пишут ВСА или АЭВ. 


Если события А и В могут появиться или не по- 


явиться только вместе, т. е. ВсА и АСВ, то они на: 
32 =: 


‘зываются эквивалентными, что. обозначают равенством 
`А=В. 
Если ВСА, то АВ = В И формула: (9) принимает вид 


_ 4.7. Элементарные события. Читатель, знакомый с эле- 
_ ментами теории множеств, легко заметит, что операции 
над событиями тождественны операциям над множест- 
вами. Эта аналогия между событиями и множествами 
объясняется тем, что каждое событие связано с опреде- 
ленным множеством исходов опыта так, что оно обяза- 
тельно происходит при. появлении одного из исходов, 


принадлежащих этому множеству, и не происходит при’ 


появлении одного из исходов, не принадлежащих этому 
множеству. Так, например, в схеме случаев п. 3.2. со- 
бытие представляет собой объединение всех благоприят- 
_ ствующих ему случаев. В схеме геометрических вероят- 
‚ностей п. 3.3 исходом каждого опыта является попада- 
ние в определенную точку, а каждое событие представ- 
_ ляет собой попадание на определенное множество точек. 

Чтобы поставить эти факты на строгую математи- 
ческую основу, вводят понятие элементарного события. 

Элементарным событием называется событие, не со- 


держащее никаких подсобытий, кроме невозможного 


_ события. и ‘самого себя. Иными словами, элементарное 
событие представляет собой событие, которое не разде- 
ляется на несовместные события, ни одно из. которых 
не является невозможным. — 


к 5. о теории вероятностей 


`5.1. Пространство элементарных событий. Мы пришли 
к понятию вероятности, отправляясь от понятия частоты 
события. Поэтому естественно считать, что вероятности 
должны обладать всеми свойствами: частот, вытекающими 
_ из их определения. Для вероятностей эти свойства в об- 
_щем случае не могут быть выведены *). Поэтому .основ- 
` ные свойства вероятностей ео ПрНЯтЬ 1 как ак- 
сиомМы. 


На основании изложенного в 5 2 и 4 мы приходим 


_К следующей модели случайных явлений. С данным опы- 


*) Для вероятностей эти свойства можно вывести только ‘в част- 
ном случае конечного числа равновозможных несовместных исходов 
опыта, а в п. 3.2. 


2 В. © таче- ке 33 
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том связано некоторое множество элементарных событий, 
так что в результате опыта обязательно появляется одно 
и только одно элементарное событие. Кроме того, с дан- 
ным опытом связано некоторое множество событий, для 
которых определены вероятности. 


Множество всех элементарных событий, связанных. 
с данным опытом, называется пространством элементар- 


ных событий и обычно обозначается ©. При этом любое 
элементарное событие —точка пространства 2 — обозна- 
чается буквой ©. 

Каждое событие представляет собой некоторое мно- 
жество элементарных событий. В частности, любое эле- 
ментарное событие ® представляет собой множество, со- 
стоящее из одного элемента (одноточечное множество). 
_ Достоверное событие представляет собой множество всех 


элементарных событий ©. Невозможное событие пред- 


‘ставляет. собой пустое множество ©. 

5.2. Поле событий. Множество событий, для которых 
определены вероятности, будем называть полем событий 
и обозначать «7. 

Чтобы принятая модель случайных явлений могла 
‘служить для построения теории вероятностей, поле со- 
бытий 9 должно обладать определенными свойствами. 

Во-первых, если вероятность определена для некото- 
рого события А, то естественно потребовать, чтобы она 


была определена и для противоположного события А. 
Следовательно, множество % должно содержать вместе 


с любым входящим в него событием А и противополож- 


ное событие А, т. е. если АЕФ, тои АЕФХ... 

Во-вторых, если вероятность определена для некото- 
рых событий А и В, то естественно потребовать, чтобы 
она была определена и для их пересечения АВ, чтобы 
можно было определить условные вероятности. Поэтому 
множество $ должно содержать наряду с любыми двумя 
входящими в него событиями А и В и их пересечение 
ДВ, т. е. если А,ВЕФ,, тои АВЕФ, 


Множество событий, обладающее перечисленными дву- 


мя свойствами, называется алгеброй событий. Таким об- 


— разом, поле событий $’ должно быть алгеброй событий. | 


Изучим основные свойства поля событий, вытекающие 


‚из его определения как алгебры событий. 2 
Пусть. А и В— любые два события, принадлежащие 


полю $. По определению противоположные события А 
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и Ви их пересечение 2 АВ также принадлежат полю 9. 


Но тогда и событие АВ, противоположное событию АВ, 
принадлежит полю ©. Но событие, противоположное пе- 


ресечению АВ, согласно принципу двойственности совпа- 
дает с объединением событий, противоположных событиям 


ДиВ, т. е. с событием АЦВ, АВ=АЦВ. Следова- 
тельно, поле ‹# содержит наряду с любыми двумя вхо-. 
дящими в него событиями А и Виих объединение ДВ. 
Из этого свойства следует, что поле событий 97 со- 
держит достоверное с событие ®. Действительно, для любого 


события АЕХ и АЕФХ. Следовательно, иАЦА=оЕФХ. 

В силу ассоциативности операций пересечения и объ- — 
единения событий поле событий 9. содержит любые ко- 
нечные пересечения и объединения входящих в него со- 
бытий. 

Наконец, поле ‹’ содержит невозможное собычие © 
как противоположное достоверному событию о. 

Рассмотренные свойства поля. достаточны для боль- 
шей части применений теории вероятностей. Однако для 
решения некоторых сложных задач, выдвигаемых прак- 
тикой, необходимо потребовать, чтсбы поле событий «7 
обладало еще одним свойством, а именно оно должно 
содержать не только конечные, но и все счетные объеди- 
нения входящих в него ‚событий, т. 6: 


и А.Е если АД, Ех Пе 


Алгебра событий, обладающая таким свойством, назы- 
вается в-алгеброй или борелевским полем событий. 

Очевидно, что о-алгебра содержит также все счетные 
пересечения входящих в нее событий. Это непосредственно 
вытекает из принципа двойственности для случая счет- 
ного множества событий. | 

В простейших ‘задачах п. 3.2 все элементарные со- 
бытия. принадлежат полю событий &. В общем случае 
поле событий может содержать, а может и не содержать 
элементарные события. 
- 5.3. Аксиомы. Нерейдем к основным аксиомам теории 
вероятностей. 

Аксиома |1. Каждому событию АЕ ра соответствует 
неотрицательное число —вероятность этого события Р (А). 


2" | с ва 


г 


| А ксиома 2. ВолиИаеть достоверного события 
ранена (ЕЕ - 
Аксиома _3 (аксиома сложения вероятностей). Ве- 
роятность объединения несовместных событий реа сумме 
их вероятностей: 


| (5 д.) р Р(А;), если АА, == © при КЕЙ. (1 1) 


Это справедливо как для конечного числа событий 
2... А, чак и: для счетного множества событий (А, 
(при п = оо) *). 
| Для простейших задач теории ` вероятностей, к кото- 
рым относятся, в частности, все задачи с конечным мно- 
жеством равновозможных исходов опыта, рассмотренные 


_ ВП. 3.2, достаточно принять аксиому сложения вероят- 


_ностей только для любого конечного множества событий 
А, ..., А,. Однако уже для задач с геометрическими 
вероятностями, рассмотренных в п. 3.3, несмотря на их 
простоту, необходимо принять аксиому сложения веро- 
ятностей для любых счетных множеств событий {А%}. 

`’Построение теории вероятностей на основе сформули- 
рованных трех аксиом принадлежит А. Н. Колмогорову, 


работы которого положили начало созданию современной. 


теории вероятностей как строгой математической _ науки 

[39, 40]. 

5.4. Вероятность как функция множества — мера. По- 
скольку каждое событие АЕз’ представляет собой мно- 

жество элементарных ‘событий, вероятность Р(А) пред- 

‘ставляет собой функцию множества А, определенную на 

поле множеств 97. 


Функции множества, обладающие свойством (11) при 


всех конечных и, называются аддитивными. Функции 
множества, обладающие свойством (11) при п = 00, на- 
зываются счетно-аддитивными или, короче, с-аддитив- 
ными или мерами. Любая в-аддитивная функция мно- 
жества является аддитивной, однако не всякая аддитив- 
ная функция множества в-аддитивна. 


*) Ясно, чта свойство сложения частот справедливо только для = 


конечного числа событий А!, ..., А», так как при любом конечном 
числе. опытов может появиться только конечное число несовместных 
событий. Распространение соответствующего свейства вероятностей 
на счетное множество событий необходимо для построения достаточно 
общей теории, охватывающей все задачи, встречающиеся на практике, 
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А КИ ” 


ОР Зале МА РОС ДРУГОМ ий. 


= Зе 


В силу аксиом. Ги 3 вероятность Р(А) представляет = 
собой неотрицательную о-аддитивную функцию множе- =. 
ства, т. е. неотрицательную меру. ее 

5.5. Вероятностное пространство. Пространство эле- 
ментарных событий 2 с заданной в нем алгеброй или 
с-алгеброй множеств % и определенной на $9’ вероят- 
ностью — неотрицательной мерой Р (А), АЕФХ, называется 
вероятнчостным пространством и обозначается (<, «Р, Р). | 
Таким образом, математической моделью любого случай- — 
ного явления в современной теории вероятностей служит 
вероятностное пространство. 

Соответствие между событиями некоторого множества 
событий и их вероятностями обычно называют. распреде- 
лением, вероятностей. Таким образом, вероятность Р(А). 
как функция‘ множества АЕ’ определяет распределение. 
вероятностей на 7. | ——. 
я Пр. имер 9. В любой задаче определения ометричесин- веро- 
ятностей пространетвом элементарных событий ® служит множество 
_ всех точек соответствующего пространства (в частности, прямой ИЛИ 
плоскости), в которые возможно попадание. Так в примере 3 © есть 
° интервал (0, 60с), в прАмере 4 © есть проекция самолета на плос- — 
кость, перпендикулярную траектории снаряда, в примере 5 & ‘есть _ 
_ прямоугольник, образованный интервалом ГО, а] на оси х и интер- - 
валом [0, л/2] на оси 0. Полем -о# в этом случае служит множество 


всех подмножеств А. множества 2, имеющих меру (длину, площадь, . 
объем).. Вероятность Р (А) определяется формулой 


ы Р (А) = (А)/о (9), 
где о(А) из (<) —меры (длины, площади, объемы) множеств (частей 
пространства) Ади? соответственно. 


— 


_——ж 


`Распределение вероятностей можно определить веро- 
ятностями всех элементарных событий только в случае 
конечного или счетного множества элементарных собы- 
_ тий. В большей же части задач, в частности в простей- 
ших задачах определения вероятностей попадания в раз-_ 
’ личные части того или иного пространства, множество 
элементарных событий несчетно, причем, как правило, 
ни одно из них не может считаться существенно «более. 
вероятным», чем любое другое. Вследствие этого веро- 
ятности всех элементарных событий в таких случаях 
равны нулю и потому ни в какой мере не определяют 
распределение вероятностей. Именно поэтому распреде- 
ление вероятностей в общем чае определяется функ- 
-цией множества Р (А). 

Рассмотренная модель охватывает все задачи совре- 
менной теории вероятностей. В каждой вероятностной 
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задаче можно определить некоторое вероятностное про- 
странство. Правда, пространство элементарных событий 
_ часто оказывается очень сложным. Однако для развития 
теории вероятностей и для ее приложений конкретная 


структура пространства элементарных событий не су- | 


щественна; вследствие чего можно не задавать это про- 
странство в явном виде, а ограничиться лишь предпо- 
 ложением о его существовании. 

Понятие вероятностного пространства дает возмож- 
ность положить`в основу построения теории вероятнос- 
тей методы теории множеств, теории меры и функцио- 
нального анализа. В частности, все выводимые дальше 
свойства, вероятностей и многие другие, которыми при-. 
_ ходится пользоваться для построения более сложных 
разделов теории вероятностей —теории случайных функ- 
ций и др., непосредственно вытекают из общих свойств 
меры. 

5.6. Свойства вероятностей. Изучим теперь свойства 
вероятностей, вытекающие из аксиом. | 
`` Так как невозможное событие © несовместно с любым 
‘другим событием А, Аб = ©, то ‘из (11) следует, что 
Р(Ацо)=Р(А)--Р(©). С другой стороны, так как 
Аи 0=А (добавление невозможного события не изменяет _ 
события А), то Р(А Ц 9)=Р (А). Следовательно, Р (©)=0,_ 
т. е. вероятность невозможного события равна нулю. 

Если ВсА, то, представив А разложением (10) на 
два несовместных события А=В+ АВ, получим в силу 
(11) Р(4А)=Р(В)-+Р(АВ), ‘откуда следует, что Р(В) < 
Таким образом, если событие В может произойти 
только вместе с событием А, то вероятность события В 
не может быть больше вероятности события А. 

- А так как любое событие А может произойти: только - 
вместе с достоверным событием ®@, А=АОсоО, то ника- 
_ кое событие не может иметь вероятность, большую ве- 
_ роятности достоверного события, т.е. |. Таким образом, 
вероятность любого события принадлежит интервалу |0, 1 |: 


0<Р(4) < 1. 


_ Представив объединение совместных событий Д,, ..- 
..., А, В виде объединения несовместных событий: 


и А, =А, Ц А,А, Ц А, А.А, Ц...ЦА,А,... Ар, 


38 - 


о получим на основании (11) 
Ри д.) Р(А)--Р(А,А) + Р(А, А.А, :.. 
рога И 


А так как 


Е 
то | 
Р(А, Л) «РСА, .:., Р(А, А... Ар 25 Р(4,) 
и мы получаем 
п \ 4 | 
г. ИА, } < »Р(А). (13) 
=] / р 3 | | 


Это неравенство, называемое свойством полуаддитивности 
вероятности, справедливо для любого конечного или 

счетного множества событий {А,} (т.е. как при конеч- 

ном п, так и. при п= 05). - 

_ Представляет интерес вычислить вероятность объеди- 

нения совместных событий. Применяя формулу (12) ДлЯ 
двух событий 4, =Аи А, = В, получим 


Р(АцВ)=Р (А) Р(ВА). 


С другой стороны, на основании (9) В=ВА ИВА, и, 
следовательно, — ге | 


"Р(В)=Р(АВ)-+Р(ВА). < 


Определив отсюда Р(ВА) и подставив в предыдущее _ 
_ равенство, получим 


Р(А ив) = Р(А)-Р(В)— Р(АВ). 


Таким образом, мы доказали теорему сложения веро- 
ятностей: вероятность объединенил любых двух событий 
равна сумме их вероятностей минус ин их Пе- 
ресечения. 

Предоставляем. читателю самостоятельно вывести со- 
ответствующую формулу для вероятности объединения 
любого числа совместных событий (применив, например, 
метод индукции). 

5.7. Полная группа событий. Совокупность. событий 
{А, } (конечная или счетная) называется полной группой _ 
ее если хотя бы одно из них обязательно появ- 
ляется в результате опыта. Иными словами, события 


39 


рее вр ов ис Са ры СЫ Е В ор ра — о к ОЕ. = КА 
о ЕЕ Приьк 2 ЕЕ . х о ; \ з . рых 
>. ия де ыы: 4 х 


я ко < | Эр. . я 


= 
— 


= 


А;,..., А» п оо, образуют полную группу, если их 


объединение есть достоверное событие: ЦА, =. 


Из аксиомы сложения вероятностей следует, что если 
_ события А., ..., А, несовместны и образуют полную _ 
группу, то сумма их ИЕ равна единице: 


ь РА. = (14) 


Противоположные события несовместны и образуют _ 


полную группу. Поэтому из (14) следует, что сумма ве- 
роятностей противоположных событий равна единице: 


_Р(А)--Р(А)=1. (15) 


—_ 


Эта формула очень важна для практики. Во’ многих за- 


дачах вероятность ‘интересующего нас события трудно 
вычислить, в то время как вероятность противополож- 
ного события вычисляется очень легко. В таких случаях 
формула (15) дает вероятность интересующего нас со- 
бытия. :.. 


5 6. Условные вероятности 


6. 1. а вероятность. Свойство умножения частот 
дает естественный способ определения условной вероят- 
ности. 

„Условной вероятностью Р(А|В) события А относи- 
тельно события В в случае, когда Р (В) == 0, называется 
‚ отношение вероятности пересечения событий А и Вк 
вероятности события В: 


Р (АВ) 


При таком определении условной вероятности теорема 


умножения частот, очевидно, распространяется и на ве-_ 


роятности: 
Р(АВ)-Р(АР(В| А) = Р(ВУР(А|В) 7 


“Таким образом, вероятность совместного, появления двух 
событий равна вероятности одного -из них, умноженной 


_ на условную вероятность другого. ` : 


Из определения (16) следует, что условные вероят- 
ности различных событий относительно ‘одного и того же 
события В, Р(В)==0, удовлетворяют аксиомам 1, 2 и 5. 
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РАВ) 0 


КСИР Л РЕ И Е Е Пр ТРИ ИА ЗЧ ТИ ИОВА Л 


1 дааа № 


ыг: 


-. 


Следовательно, вся развиваемая дальше теория спра-_ 


ведлива и для условных вероятностей. р 
Из (17) следует, что вероятность совместного появле- 
ния любого числа событий равна вероятности одного из. 
них, умноженной на условную вероятность другого отно- _ 

сительно первого, на условную вероятность третьего от-. 

носительно ‘пересечения двух первых и т. 0д., на условную 
вероятность последнего относительно. пересечения всех. 
предыдущих: `` - 


Р(А, А... Ад-РАОРИДАЗ РИА, А,4)). Е 
‚.Р(А,| А, А,...А„-1). (18) 


Это следствие легко выводится из (17) по индукции. 


чать. 


Пример 10. В р 12 шаров —5 белых и 7 черных. Из урны 
вынимают два шара. Найти вероятность того, что оба шара окажутся 
белыми. | А 
Введем события: А — первый (или условно считающийся первым, 
если шары вынимаются одноваемаие шар бэлый, В — второй шар 
белый. Тогда будем иметь хо 


Р (А) =Р(В)=5/12, Е а | 
и по формуле (17) 


Пример 11. В урне 16 шаров—5 белых, 7 черных и 4 крас- 
ных, Найти вероятность того, что среди вынутых из урны четырех 
шаров первый будет белым, второй —черным, а остальные. два. — 
красными. — 

Введем события: д: Серый шар белый, А›— второй шар чер-_ 
ный, Аз— третий шар красный, А. — четвертый шар кнНЙ. ода 
получим. | 


Р(4,)=5/16, Р(А.1 А) =7/Б, р (АГ АА = 40, 
ть Р (Аз [ А, Аз Аз) =3/13 


и по Форму (10) 


Р(А, ААА). а 


15°14'13 10 


‚ Чтобы _ убедиться, что эта вероятность не зависит от того, в Ио 

порядке берутся события, возьмем эти события в ‚другом. порядке, _ 
например Аз, А!, А., А.. Тогда получим 

.Р (А) =4/16, Р (А, А) =5/15, . 

Р (А. | А: А,) =3/14, Р(А.| АзА ‘Ад =7/, 


РА А-П В" 


Пример 12. В теории аЕньСяЕ функцией надежности ‘или 
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‘просто надежностью р ({) обычно называют вероятность исправной ' 


Я — 2 - 


работы прибора от момента #{=0 до текущего момента #. В качестве, 
исходной характеристики “прибора при этом принимают интенсив- 


_вяость отказов | | 
| АЕ В. 
ша РАНО. 


представляющую собой предел отношения условной вероятности от- 
каза прибора, исправно работавшего до момента # в интервале вре- 
мени (Ё, ДВ, к величине этого интервала ДЁ при Ар —+ 0. Интен- 
сивность отказов А определяется экспериментально, по крайней мере 
для простейших элементов и блоков. Задача состоит в том, чтобы, 
зная интенсивность отказов как функцию времени А = ^ (0, найти 
функцию надежности р (1. 

Для решения задачи назовем отказ прибора в интервале времени 
(1, САР) событием А, а его исправную работу до момента #—со- 
‚ бытием В. Исправную работу прибора до момента #-- АЁ назовем 
событием С. Событие С можно выразить через события А и В. Для 
того чтобы система исправно работала до момента {-- ЛЬ, необхо- 
димо, чтобы она работала исправно до момента { и чтобы она рабо- 
тала исправно в интервале времени от { до #-- ДЕ. Следовательно, 


_ событие С представляет собой: пересечение двух событий: события В 


и события, противоположного событию А, т.е. С == ВА. Отсюда на 
основании (17) следует, что 


Р©-Р(В)Р (АВ). (1) 


Но Р (В) как вероятность исправной работы системы до момента & 
еетавляет собой искомую функцию надежности р (В: 


Р(В)=р (0. = 5 


Вероятность Р (С), т. е. вероятность исправной работы системы до 
момента {-- ДЕ, представляет собой значение той же функции на- 


с Вевностя в момент #-- АЁ 


Р©=Р 44: (ИО 


Наконец, Р(А|В) представляет собой условную вероятность 
отказа системы в интервале времени (1, #-|- Д#), которая выражается 
‚ через интенсивность отказов системы ^ формулой 


Р(А|В)=Р (1 4] =А АЕ-Но (44), 

‘где о (АК, как всегда, означает бесконечно малую высшего порядка 
по сравнению с Дё. Применяя для вычисления условной вероятности 
противоположного события А формулу (15), найдем 

Р(А|В)=1—А, Ао (4Ь. (ТУ) 

Подставляя выражения (11), (111) и (У) в (Т), получим. 

р (#-- 4) =р (1) (1—^ 4-0 (44). 


Теперь ‘остается раскрыть в правой части полученного равенства 
скобки, перенести р (1). налево, разделить все члены на ДЁи перейти 
к пределу при ДР — 0. При этом слева получим производную р’ (1). 
В результате получается дифференциальное уравнение для функции 
надежности 


р’ (И =—^р (0. (У) 
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В качестве начального условия ‘естественно принять условие, что 
система начинает работать в исправном состоянии, т.е. р (0) =1. 
Дифференциальное уравнение (У) и начальное условие -р (0) =1 
полностью определяют искомую функцию надежности р (0. | 

Легко проверить непосредственной подстановкой, что интеграл. 
уравнения (У), равный единице в начальный момент, определяется” 
_ формулой 


р < [- | Аа. ре (УП) 
; ) 


_6.2. Зависимые и независимые события. Два события. 
называются независимыми, если появление одного из них 
_не изменяет вероятности другого, или, иными словами, 
_ если появление одного из них не содержит никакой 

информации. о другом. | 

События А и В называются зависимыми, если появ- 
ление одного из них изменяет вероятность другого. 
Для независимых событий Аи В 


-Р(А!В)=Р(А), Р(В|А)=Р(В). (19) 


Действительно, вероятность события А, когда известно, 
что В произошло, есть условная вероятность А относи- 
‘тельно В. Если при появлении события В вероятность 
события А не изменяется, то это означает, что условная 
вероятность события А относительно В совпадает с ве- 
роятностью события А, которую, в отличие от условной. 
вероятности, называют безусловной. | 

Очевидно, что для -независимости событий А и В до- 
статочно одного из двух равенств (19); второе автомати- 
чески будет выполнено в силу (17). 

Для зависимых событий А и В 


Р(А|В)==Р(А), Р(В|А)--Р(В). — (20. 


Очевидно, что два несовместных события АД и В всегда _ 
зависимы, так как появление одного из них исключает 
другое, вследствие чего Р(А|В)=Р(В]|А)=0. . 

События 4,, ..., А, называются независимыми, если 
каждое из них не зависит от каждого из остальных и’ 
от всех возможных их пересечений. 

Заметим, что для независимости событий А;, ..., А,„ 
их попарная независимость необходима, но не достаточна. 


Пример 13. Пусть А и Вр— произвольные независимые собы- 
тия, вероятности которых равны 1/2, и С= АВ(] АВ. Очевидно, что 
.Р(С)=Р (АВ)--Р (АВ)=Р (А)Р (В) -Р(А)Р (В) = 11/2, 

Р (С1А)=Р (В) =1/2, Р(С|В)=Р (А) =1/2. 


= | — 


$ 
4 


ее: 


№ 


кии образом, те ВиС попарно независимы. т бо Р(С1 ЧЕ 
’так как если происходит событие АВ, то происходит и С. Следова- 


тельно, события А, В и С зависимы. Предлагаем читателю само-_ 


Бо ВЫЧИСЛИТЬ остальные условные Вероне в Этой задаче. 


-6.3. Теорема умножения вероятностей для независи- 


мых событий. Рассмотрим. случай независимых событий 


_ А, ты: 


№» Если события А.,..., А, независимы, то события А, 
и Д.А,...А,_, независимы, события Е си 
независимы, и так далее, события А, и А.А, незави- 


симы, и, наконец, события А, и А, пеЗависимы, Поэтому. 


РА Ал, АРА), 
Р(А,- | А, А,... Аи) = Р(Аи-в) 
РА, |, А)=Р(А.), 
Р(А,| Л,) =Р(А,), 

И аа (18) принимает. вид 


Р(А,А,...А,)=Р(А,)Р(А,)...Р(А,). 94 (20) 


Таким образом, вероятность пересечения независимых 


_ событий равна произведению их вероятностей. 


_ Пример 14. Вероятность попадания в цель при сбрасывании 
одной бомбы равна р=0,1. Найти вероятность попадания в цель 


хотя бы одной бомбы, если бомбометание по цели производят 10 са-^ 


молетов, каждый из которых сбрасывает одну бомбу. 
Пусть событие В представляет собой попадание хотя бы одной 


‘бомбы. в цель. Иротивоположное событие В представляет собой не- 


попадание ни одной бомбы. В данном примере попадания в цель 
разных бомб можно считать независимыми событиями, так как каж- 


_ дый самолет осуществляет бомбометание независимо от других. Сле- 


довательно, на основании формулы (21) вероятность того, что НИ 
одна бомба не попадет”в цель, равна — 


Р (В) =(1— рю. 


_Для определения искомой вероятности Р (В) попадания хотя бы 
одной бомбы в цель теперь достаточно воспользоваться формулой (15), 


_ связывающей вероятности-противоположных событий: 


Р (В) =1—(1— ру =1—0,9° = 0,63. 


о еиеейнае вычисление этой вероятности, как мы увидим в 
Пе Си очень сложно. 


Пример 15. В урне 12 шаров—5 белых и 7 черных. Из урны ^ 


вынимают один шар, отмечают его цвет и возвращают в урну. После 
этого шары тщательно перемешивают и из урны вынимают второй 
шар. Найти вероятность того, что оба раза появится белый шар. 

В данном случае, поскольку после первого вынимания шар воз- 
вращают в урну, информация о поярлении белого шара при первом 


в 
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вынимании не изменяет вероятности появления белого шара при сле- 


дующем. Поэтому события А (появление белого шара в первый раз) 


и В (появление белого шара во второй раз) независимы и вероят-_ 
ность их совместного появления равна ВЕ ме 2 


5 _25 
“157 144. 


Пр имер 16. В урне 16 Е белых, 7 черных и 4 крас- 
ных. Из урны 4 раза вынимают по одному шару, возвращая каждый 


Р (АВ) =. (А)Р (В=Т 


раз шар в урну. Найти вероятность того, что первый шар будет. 


белым, второй —черным, а третий и четвертый — красными. 

`В данном случае события А; —первый шар белый, А» — второй 
_ шар черный, Аз— третий шар красный, А. — четвертый шар красный 
независимы. Поэтому 


5 
Р(А, ААьАо — =15 * 15 


$ 7. Вероятности сложных событий 


7.1. Формула полной вероятности. Предположим, что 


_с данным опытом связана полная группа несовместных 


событий Н,, ..., Н‚„, вероятности которых Р(Н;) (= 


_==1,..., п) известны. Нас интересует событие А, для кото- 
рого известны условные вероятности Р(А|Н;) ((=1, ... пе 


относительно всех событий Нь Е Требуется. найти 
вероятность события А. 
№ Эта задача решается очень просто. Поскольку собы- 


тия Н., ..., Н»„ образуют полную группу, их объединение 


есть достоверное событие. Событие А может появиться 
только вместе с каким-нибудь событием Н,. Таким об- 


разом, событие А есть объединение событий АН.,..., АН„.. 


Так как события т ..., Н» по условию несовместны, 


то события АН,, ..., АН, тоже несовместны, и мы можем — 


применить аксиому. сложения: 
РА) =Р( 0 Ан) = У Р(АН). 
=! =Ё ее 

Отсюда, пользуясь формулой (17), получаем. 


Р(4)=УР (НОР(А|Но. 4 — (2) 


Итак, вероятность события А равна сумме вероят- 
ностей событий. Н', ..., Н»„, Умноженных на соответст- 


вующие условные ан события А. 
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Формула (22) называется ‘формулой | полной вероят- 


_- ности. Она широко применяется В теории вероятностей 
и в ее приложениях. 


Пример 17. На эксплуатацию приходят ‘однотипные приборы, 
выпускаемые тремя заводами в пропорции П: :По:Из (т. е. на каждые 
п: приборов, выпускаемых первым заводом, приходятся п. приборов, 
выпускаемых вторым’ заводом, и пз приборов, выпускаемых третьим 
‚ заводом). Предположим, что марка завода на приборах отсутствует 
и что интенсивность отказов (постоянная) для приборов первого 
завода равна Л1, для приборов второго завода — и для приборов 
третьего завода — Аз. Найти функцию надежности данного прибора. 

В данной задаче имеем три несовместных события, образующих 
_ полную группу: 

Н,— данный прибор выпущен первым заводом, 

Н,— данный прибор выпущен вторым заводом, 

Нз— данный прибор выпущен третьим заводом.: 
` Вероятности этих событий легко определяются: 


ПЕ 
—щ #— 1:2 
| Р-р: (#=1,2,3). 
Увловные вероятности интересующего нас события д асазавой 
работы прибора до момента {— относительно событий Ну, На, Нз 
` легко определяются по формуле (УГ) примера 11: 


Р(А!Н,) =е-№*, Р(А|Н,)=е-№!, Р(А|Ну=е-^№, 


Пользуясь формулой полной вероятности (22), находим вероятность 
исправной работы прибора. до момента { (т.е. искомую функцию 
надежности прибора): 
пе поет + пзе-^з 
ро 
пп -- Яз 

Пример 18. Цель (например, самолет) может быть поражена 
огнем авиационных пушек при попадании в нее одного, двух, трех 
и т. д. снарядов. Найти вероятность поражения цели очередью из 
п снарядов, если известны вероятности попадания в нее одного, 
двух и т. д., и снарядов Ри,» (т=1,..., п) и условные вероят- 
ности поражения цели при попадании в нее одного, двух и т. д. 
п снарядов С (т) (т=1, ..., п). ы 

В данном случае имеем п! несовместных событий, “образующих 
полную группу: 

Н:— попадание в цель одного снаряда, 

Н.— попадание в цель двух снарядов, 

_Н„— попадание в ` цель п снарядов, 

Н»„+1— непопадание в цель ни одного снаряда. 

Вероятности событий Н1, ..., Ни По условию известны: 


Р (Н.) =Р тп, п (т=1, =); 


Вероятность события Ни+1 ‘может быть найдена по формуле (14), 
связывающей вероятности несовместных событий, ее пол- 


ную группу: . 
Р (Ни+1) =1-—Р:„— Рэп... — Ри, п. 
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По условию известны также условные вероятности ‘интересующего 


нас события А — поражение цели — относительно событий Н\,..., Ни: 


Р(А|Н»)= С (т) (т==1,..., И). 


Условная вероятность события А относительно Ни+1, очевидно, рав 


на нулю, так как цель не может быть поражена при отсутствии 
попадания в нее; Р (А | Н„..1)=0. Следовательно, вероятность пора- 
жения цели может быть вычислена по формуле полной Рея (22): 


# 


+1 К 


Ри-х, Р(Нь)Р(АИН,) = ря Ри, "б (т). 


7.2. фра Бейеса. В задачах практики нас часто 
интересует полная группа несовместных событий Ну, ... 
‚.., Н„, вероятности которых Р(Н;) 1=1,..., п) извест- 
ны. Эти события непосредственно не наблюдаемы, но можно 
наблюдать некоторое ‘событие А, с ними связанное, для 
которого известны условные вероятности Р(А|Н;) &= 
=1,.,., п). Допустим, что произведен опыт, в результате 
которого появилось событие А. На основании этого опыта 
требуется сделать выводы относительно событий Ну, ... 
..., Н„» Т. е. определить, как изменились их вероятности 


после произведенного опыта. Иначе говоря, нужно найти. 
условные. В. событий Н.,..., Н„ относительно - 


события А. 


№ На основании теоремы умножения вероятностей (17) 


Р(АН‚)=Р(А)Р(Н,| А) =Р(Н,) Р(А|Н,). 


Отсюда следует _ 


Р(Н, РР, 


Р.(А) 


Подставляя сюда выражение вероятности события А из. 


формулы полной вероятности (22), получим 
Р (Нь)Р (А|Нь) 


УР(НОР(А! НО 


= 


Р(Нь[ А) = 


Эта формула обычно называется формулой Бейеса. Она 
решает поставленную задачу. 

Вероятности Р(Н,) (Е =1,..., п) интересующих нас 
событий Н|, ..., Н, до опыта обычно называются апри- 
орными вероятностями от латинского а рот, что значит 
«сперва», т.е. в данном случае до того, как был произ- 
веден опыт. Вероятности Р(Н,|А) (Е=1, зп) тех же 
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(1, ..., п). 4 (23) 


> ®. 


событий после опыта называются апостериорными от ла- 
тинского а розёегогй, что значит «после», т.е. в данном 
‘случае после опыта, 


Пример 19. В условиях примера 17 предположим, что прибор 
проработал безотказно время Т (событие 4). Найти апостериорную 
вероятность того, что прибор выпущен А-м заводом (® =1, 2, 3). 

Подставив вероятности Р(Н!1), Р(Н»), Р(Нз), Р(А|Н\), Р(А|Н,), 

р(А]|Н)-), заданные в примере 17, в формулу Бейеса (23), находим. 
а постериорную вероятность того, что прибор выпущен &А-м заводом: 
-№Т 
Р (Нь|А а 
| = пе" м Т-- пе Т . пуе-^37 


_ 5 8. Повторение опытов _ 


8.1. Случай постоянных условий опыта. Рассмотрим». 
сложный опыт, состоящий из нескольких более простых 
опытов, в каждом из которых может появиться или не 
появиться некоторое событие А. 

_ Опыты называются независимыми, если вероятность 
интересующего нас события А в каждом опыте’не зави- 
сит от _ результатов других опытов. Предположим, что. 
производятся п независимых опытов, в каждом из кото-` 
рых вероятность события А: равна р. Требуется найти 
вероятность Р„.„ того, что событие А появится т раз. 
№» Для того чтобы при п опытах событие А появилось 


__ т раз, необходимо и достаточно, чтобы появилась одна 


> 2ИЗ последовательностей событий В,, ..., В,, в которых 
т из событий В, ..., В, совпадают с А, апт — с про- 


_тивоположным событием АД. Очевидно, что число.таких 
последовательностей равно числу сочетаний из п по т, 
т. е. Ст = п!/т (п —т)! |, 0! =1. В силу независимости 
опытов вероятность каждой такой последовательности по 


теореме умножения для независимых событий (21) равна 
р”9"-", где д(=1— р. Наконец, в силу несовместности 


_ всех возможных последовательностей искомая вероятность 


Р„,„ равна сумме вероятностей всех последовательнос- 


_ тей, состоящих из тсобытий. А ип—т событий А,т. е. 
сумме С” слагаемых, равных р”а”-”: - | 


в 
В Сто" = ОР" (т=0, 1,..., 1). 9 


(24) 


_ Возьмем теперь вспомогательную переменную и и за- 
метим, что величина Р„, пи” = Стр”4”`"и” представляет 
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РА 
АК А НИ 
АИТ 


чаи р м 3. о но Е о ре Оба ре Са ЕЕ р ра а ре БОЕ. аа 


‘собой общий член разложения функции [. 4. ри) по фор-. 


муле бинома Ньютона. 
Таким образом, вероятность Р„.,„ представляет собой 
РН при и” в разложении функции 


_по степеням и. - 
_ Функция Ф» (1) называется ОВС: функцией 

для вероятностей Р„. в. 

_ К полученному результату можно прийти также: ме- 

тодом индукции, заметив, что при п-=| задача имеет 

очевидное решение Р,,=д, Р,.‚==р, и применив извест- 


ное соотношение между биномиальными коэффициентами _ 


м Е" ФВ ‚=С. ` ее я (26) 
Можно также, исходя из того, что —— 
ф: (и) =а-- ри, — _ (27) 


вывести из (11) и (21) рекуррентную формулу для про- 
изводящих к. 


Ф» (и) = 55: Ф„- 1 (и) (9 + ри), (28 
а затем получить (25). | 


Элементарными событиями в данном случае служат. 


все конечные последовательности {В,, ..., В„}, где каж- 
дое В, представляет собой событие А или ‘противополож- 


ное событие А. Полем событий «7 служит алгебра всех 


возможных объединений этих элементарных событий, 
дополненных невозможным событием. Вероятность каж- 


‚ дого элементарного события равна р”д”-"”, где т — число. 


событий В, в последовательности {В,,..., В„!}, совпадаю- 
щих с А (т=0,1,..., п). Вероятность любого события 
определяется как сумма вероятностей входящих в него 
элементарных событий. 


я Соответствие между числами т=0,1,...,пи веро- | 
_ ятностями Р 


„.„» Опредзляемое формулой (24), называет- 
ся биномиальным распределением. 

8.2. Случай переменных условий опыта. Формулы (24) 
и (25) легко обобщаются на случай, когда вероятность 
события А имеет различные значения в разных опытах 
(повторение“опытов в переменных условиях). Если опыты 


независимы и вероятность события А в А-м опыте равна _ 


р», 9 =1— р» (=1,..., п), то вместо (24) совершенно 
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(и) = 9--Ри" с. 5 


таким же путем получается формула. 


Ри.= УХ Рь- быт 9%  (т=0,1,...,п), (29) 
где сумма Е ‚на все возможные разделения 


чисел 1, 2, ...П на две группы, одна из которых со- 
держит т чисел (11,1, ..., 1), ‘а другая —п— т чисел 
(..1....й). Число таких разделений равно С». 


Легко понять, что вероятность Р„.„ в этом случае 
представляет собой коэффициент при и” в разложении 
‘по степеням и производящей функции 


= П 4 рыд. | (30) 


_ К этому результату тоже можно прийти по индукции 
или получив рекуррентную формулу 


Ф,» (и) = — Фи-1 (и) (9» -Е рьи)-. га (31) 


8.3. Вероятность появления события не меньше дан- 
ного числа раз. Во многих задачах практики приходится 
определять вероятность того, что интересующее нас со- 
бытие А появится при п опытах не меньше чем данное. 
число А раз. 
_ № Очевидно, что-сложное бое собы-_ 
тия А не меньше чем А раз — представляет собой объ- 
единение п --1 несовместных событий: появление А 
ровно К раз, появление А ровно А- | раз, и т. д., по-. 
явление А ровно п раз. Следовательно, искомая веро- 
ятность Ю,,„ того, что при п опытах событие А появится 
не меньше чем Р раз, равна 


Ку. в = Е.В СВ т.п. (32) 


Эту вероятность можно также. вычислить, определив 
‘сначала вероятность противоположного события, т. е. 
вероятность того, что событие А появится меньше чем. 
Е раз, и вычтя ее из единицы: 
: | #-1 
" 1 
Вы =1—Рь„—Р,.,—..-Рь- Ха © 
Ясно, что всегда ‘целесообразно пользоваться той из 
т (32) и (33), у которой в сумме’ меньше слагае- 
мых. Очевидно, что в (32) сумма содержит п — - 1 сла- 
гаемых, а в (33) —^ слагаемых. Следовательно, форму-` 
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лой (32) целесообразно пользоваться, если п -+ | < №, 
т.е. если > (п-- 1/2. Если К < (п-- 1/2, т. е. Ех 
<п— Е - 1, то целесообразно пользоваться формулой (33). 

_ 8.4. Вероятность хотя бы одного появления события. 
Чаще всего приходится вычислять вербятность того, что 
интересующее нас событие появится хотя бы один раз 
`(т. е. не меньше чем один раз). Очевидно, что в этом 
случае при любом п >22 целесообразно пользоваться фор- 
мулой (33), так как сумма в ‘ней содержит только одно. 
слагаемое Р..„. В результате получим 


КаРл 9.4 44 (34) 

В частном случае постоянных условий опыта 9, =9.=.., 
... =0,:=4 и формула (34) принимает вид 

Ю. =! —0”.. и. 


Формулы (34) и (35) легко выводятся непосредственно 
без применения формулы (33). Для этого достаточно вы- 
числить вероятность противоположного события — непо- 
явления события А ни разу. Вероятность того, что при’ 
п’ независимых опытах событие А не появится ни разу, 
равна произведению вероятностей непоявления А в пер- 
вом, втором, третьем, и т. д., п-м опытах, т. е. произ- 
ведению 0,4....9,. Вычитая эту вероятность из единицы, 
мы получим формулу (34). 

8.5. Случай опытов с несколькими событиями. Если 
в результате каждого опыта появляется одно из полной 
группы несовместных событий А,,..., А,, вероятности 
которых равны соответственно р.,..., р. р. №... Е р,=1, 
то вероятность того, что при п опытах а появится 
т, раз, А, —1, раз, ит. д., А-—т, раз, т, НЕХ =; 
определяется формулой 


га 


п! ть НР: | 
Ри,,...., тр = тит т рт. гр" .. `Р, . (36) 


> Эта формула легко получается последовательным 
применением формул (29). Вероятность того, что собы- 
_ тие А; появится т, раз при п опытах, согласно (29) равна. 


Ри АеоВоИ < рум, 


Условная вероятность события А, в каждом из остав- 
шихся опытов при условии, что 4, в этих опытах не 
появляется, очевидно, равна р./(р.-...-Нр‚). Поэтому 
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_ условная вероятность того, что в т,-... т, опытах, 
_ В которых не появляётся А,, событие А, появится т, раз, 
согласно (29) определяется формулой 
р | = (ть--...Ёт,)! 
та ть. ть то! (тз-...т,) | Е ; 
| х ( 2. =)" ие т. 
рз-| ...-Н В» рз-...-Н Р» ее 
Продолжая таким образом, находим условную Е 
того, что событие А, появится т, раз в т,-... мт, 
опытах при условии, что события Д,,..., А,_, В этих 
опытах не появляются: | 
т. 
ты : те! (ткча-Е...-- т)! ° 
. Хх [2 )"* м. 
— к - ВЕ... Р: ра-- ... Е Рь * - 
—- _ Перемножая найденные вероятности, мы и получим фор- 
мулу (36). < | 
Производящая функция вероятностей р ие 
(т-...-Ет,==1) определяется формулой 


Фи и) фиш +... Ри)", (97) 


причем Ри, ..., т; представляет . собой коэффициент при 


ии .. ИТТ в разложении ЭТОЙ функции по степеням пере- 


менных и, ..., И,. 
о Элементарными событиями в данном случае служат 
| конечные последовательности {В.,..., В‚\, тде каждое 
В, представляет собой одно из событий Д,,...,А,. По- 

лем событий служит алгебра всех возможных объедине- 

_—_ < ний этих событий, дополненных невозможным событием. 
Вероятность каждого элементарного события равна р""... 
_...р”г, где т; —число событий В, в последовательности 
{В.,..., В, совпадающих с А; (=1,..., г). Вероят- 

‚ ность любого события равна сумме вероятностей входя-. 
щих. в него элементарных. событий. 
Распределение вероятностей, определяемое `форму- 

„Лой (36), называется полиномиальным. 


— 


$ 9. Распределение Пуассона 


9.1. Потоки событий. На практике приходится встре- _ 


_чаться с событиями, которые происходят в случайные 
моменты времени. Такие события образуют последова-. 


02 


| 
> 


ааа. < 


тельность событий, называемую обычно потоком событий. 
‘Примерами потоков событий могут служить вызовы або-_ 


нентов на телефонной станции, пересечения перекрестка 
транспортными средствами, вызовы скорой медицинской 


помощи, отказы технической системы, приходы клиентов 


в обслуживающую организацию (например, парикмахер- 
скую) и т. д—- РУ 

Часто можно считать, что поток событий удовлетво- 
ряет следующим условиям: 

|1) для любых двух непересекающихся интервалов 
времени вероятность появления любого данного числа 
событий в течение одного из -них не зависит от того, 
сколько событий появляется в течение другого; 

2) вероятность появления одного события в течение 
бесконечно малого интервала времени (1, 1-- 40 есть 
бесконечно малая величина порядка А; - 

3) вероятность появления более одного события в те- 
чение интервала времени ({, [-- АР) есть бесконечно ма- 
лая высшего порядка по сравнению © АЁ 

Обозначим р», (11, Е.) вероятность появления т собы- 


_ тий в интервале времени (1,, 2,). Тогда условия. 2) и 3) 
‚.- запишутся в виде 


РМ 00а), = 8 


ХричАд ом), — Е 


где А (0 — некоторая неотрицательная ва *). 
9.2. Уравнение для вероятности непсявления событий. 
Поставим задачу: для потока событий, удовлетворяю- 


‚щего условиям 1), 2) и 3), ‘найти вероятности того, что 


в данном ке РИ (1, 1) ноявится т событий 
9—0, 12, 


> Считая момент &, фиксированным обозначим иско- | 


мые вероятности р» (0). (Е—-9-Е 2. 


Для вычисления р, (1). заметим, что р, (ЕЁ АВ пред- 


ставляет собой вероятность пересечения двух событий: 
ни одного события в интервале (1,1) и ни одного `со- 
бытия в интервале (Ё, &-|- —. Согласно условию 1) эти 


1 (40, как всегда, означает. бесконечно малую высшего по-_ 


рядка по сравнению с ДЁ, так что 
(АВ _ 


й 5. 
ый 
а 


события независимы. Поэтому а. ы 
Ро (Е АВ) = рь (1) ро (Ь, +4, (40) 
Но ‘на основании (38) и (39) | 


Ре (Ё, +1 р» (1, Або (АО 
(41) 
_Подставив это выражение в (40), получим 
_ РУ (Е-- АЙ = р. (1 — Ро (А (0 Ао (АЙ, 
откуда 
Ро АВА = —^ (Ир 


| ет . | 

При 0 правая. часть этого равенства стремится к 
определенному пределу —^ (1) р,(1). Следовательно, су- 
ществует и предел левой части. Таким образом, вероят- 


ность р, (Г) дифференцируема при- любом Ги в пределе _ 


при 4+ —0 мы получаем дифференциальное уравнение 
2 =Ь— А (9 рь (9. р 


Для нахождения начального значения вероятности Ее 


р. (Г) достаточно положить в (41) [=ВЦи перейти к пре-- 
делу при АЁ—>0. Тогда получим р, (&)=1. 
_9.3. Уравнения для вероятностей различных чисел о 
событий. Для составления уравнений для вероятностей 
р. (Г), р. (Г), ... заметим, что т событий могут появиться 
в интервале времени (1, Е--АГ) одним из следующих 
т--1 несовместных способов: все т событий появляются 
в интервале (1, {) и ни одного в интервале (+, + А1), | 
т—1 событий появляются в интервале (К, #) и 
одно в интервале (1, #--Д{), и т. д., все‘т событий по- 
являются в интервале ({, АЦ. Поэтому на основании. 
аксиомы сложения вероятностей и теоремы умножения 
вероятностей независимых событий (21) имеем 


Ра ЦЕНА) — Ры 0) роб; АО ры- : (6) р1(Ь, АВ -.. 
-. Ро (1) Ри (Ь АА. 


_ Отсюда на основании (38), (39) и (41) получаем — Е 
ры (1-Е А = ры (0 [ры (0 —Рь (0140 А о(А9. 
` Следовательно, 


ра ь 0 мор.- 2+ ре 
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Рассуждая далее совершенно. так же, каки при выводе 
уравнения (42), получаем дифференциальное уравнение 


Р®(0=А(0 [Р,-1 (0 —Р»(0]  (т=т 2,...). (49) 


Начальные значения вероятностей р,(Р), р.(#),... все 
равны нулю в силу того, что р, (К) =1, р» (№) =0 (т=1, 
а. | . | — 
9.4. Решение уравнений. Приняв за независимую 
переменную величину * 
{ 


в=\ А (т) ат, — (44) 


Фо 
приведем уравнения (42) и (43) к виду 


а арт | — 
ЯР. р, Бр `(т=1,2,...). (45) 


‚Начальные условия примут вид р,=!, р,„=0 (т=1, 
.) при и=0. Легко убедиться непосредственной 
подстановкой, что интегралы уравнений (45), удовлетво- 
ряющие начальным условиям, определяются формулой ` 
а 
рые и (т=0, 1 ‚2,...). < (46) 
Таким образом, для данного интервала времени (2, В. 
мы имеем счетное множество ‘элементарных событий: 
ни одного события в этом интервале, одно, два и т. д., 
и вероятности этих событий определяются формулой (46). 
Следовательно, формула (46) определяет распределение 
вероятностей. Это распределение вероятностей называется 
распределением Пуассона. Поэтому поток событий, удов- 
летворяющих условиям 1), 2) и 3), называется пуассо- 
новским потоком. Параметр и распределения Пуассона, 
как мы увидим в п. 3.2.1 (пример 3.2), представляет 
собой среднее число событий, происходящих в данном 
интервале времени (&, #). Функция ^(Ё) называется ин- 
тенсивностью пуассоновского потока. 


Пример 20. Найти вероятность того, что число электронов, 
вылетающих из катода электронной лампы в течение интервала вре- 
мени длительности &, будет равно т, если среднее число электро< 
нов, испускаемых в единицу времени, равно А ==соп${. Поток элект- 
ронов можно считать пуассоновским. 

На основании (44) в данном случае и = №. Подставив это выра- 
жение в (46), р 


(^1)" 


ра= т _ 


(т=0, 1,2, ...). 
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_ _ Пример. 91. Интенсивность потока вызовов телефонной станции 
(т. е. средняя плотность вызовов — предел отношения среднего числа _ 


вызовов в течение бесконечно малого интервала времени (2, #-- 41) 
к А! при 4 0) равна ри Найти вероятность того, что в тече- 
ние интервала времени (2, #5) на станцию поступит т вызовов. 

В данном случае можно с достаточной точностью считать, что 
поток вызовов удовлетворяет условиям, при которых поток является. 


‘пуассоновским. В самом. деле, в-силу отсутствия связи между дей- - 


ствиями отдельных . абонентов вероятность любого данного Числа 
_ вызовов в интервале времени (11, #5) практически не зависит от 
от того, сколько вызовов постумает в течение других интервалов 


времени, не пересекающихся с интервалом (&,, #5). Вероятность прак-_ 


тически одновременного поступления двух и ‚больше вызовов можно 
считать равной нулю. Поэтому можно считать выполненными и ус- 
_ ловия 2) и 3). Тогда искомую вероятность можно вычислить, пользуясь 
- у -=5: . у 7 " 
распределением Пуассона, по формуле (46) при = \ А (т) ат. 

. ыы д 3 # 


Вместо вызовов телефонной станции можно рассматривать вызовы _ 


скорой помощи, предъявления определенных объектов техники в 
ремонтную организацию, выезды транспортных средств на перекрес- 
ток, прибытия клиентов в обслуживающую организацию и т. п. 
Во всех таких случаях, общее число событий, происходящих в тече-. 
ние длительного интервала времени, ` практически‘ неограничено, 
‚а для относительно. малых интервалов времени можно считать выпол- 
ненными условия |) —3), при которых поток можно считать пуас- 
соновским, конечно приближенно, как всегда в задачах практики. 


То же относится и к явлениям радиоактивного распада вещества. 


Потоки распада атомов можно считать пуассоновскими. 


9.5. Случайное распределение точек в пространстве. 
Распределение Пуассона: получается также и в случае, 
когда’ точки распределяются случайным образом не .на 


‘числовой оси, а на плоскости, поверхности или в про- ”. 


странстве. Предположим, что выполнены условия: 

1)‘ для любых двух непересекающихся областей веро- 
ятность попадания любого данного числа точек в одну 
‚не зависит от того, сколько точек попадает в другую; 
_ 2) вероятность попадания одной. точки в бесконечно 
малую ‘область представляет собой бесконечно малую. 
того же‘порядка, что и площадь (объем) этой области; 


3) вероятность попадания более одной точки в бес. 


конечно малую область представляет собой бесконечно _ 
малую величину высшего порядка по сравнению с пло- 
щадью (объемом) этой области. 

Тогда вероятность попадания т точек в. данную об- 
ласть В определяется формулой (46) при 


и = \ А (т) ат. ее. а 
> | 
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Все предыдущие выкладки остаются при этом в силе. 
“Только вероятности р„ следует рассматривать не как 
функции 5 иЁ, а как функции величины ви Е во 
всех формулах заменить величиной Ди. — 


Пример 22. При разрыве снаряда неконтактного действия 
осколки распределяются по некоторой поверхности с плотностью. 


Л (0). При очень большом общем числе осколков условие 1} можно 
считать выполненным для любых областей, малых по сравнению с 
общей областью, покрываемой осколками. Условия 2) и 3) можно 
считать выполненными в силу практической невозможности попада- 


ния двух и более осколков в одну точку. Поэтому для ` вычисления 


вердятностей попадания различного числа осколков в данные области 


(обычно малые по сравнению с общей областью разлета осколков) | 
можно пользоваться нах Пуассона, вычислив: и по фор-_ 


Е (47). 


_9.6. Пуассоновское приближение `биномиального рас-. 


пределения. Заметим, что вычисления по формуле (29), 
определяющей биномиальное распределение, при большом 
п становятся очень громоздкими. Однако при малой ве- 
роятности р биномиальное распределение при большом п 


хорошо аппроксимируется пуассоновским распределе-_ 


нием. Действительно, при малой вероятности р. для всех 
иЕ (0, 1) | 
=: г ри 1 р(и — 1) ем 1) —-е-Р. ‚сви *). 


 Подставив это выражение в формулу (28) для А 
дящей функции, находим 


== 


Ри. Пет" (т=О, 1,2, ь.). (48) 


т. д т! 


Эта формула дает пуассоновское приближение ‘бино- Е: 


миального распределения. Она достаточно точна при 


большом числе опытов п и при достаточно малой веро-. 


ятности р события в одном опыте. 
Аналогично получается приближенная а. (46) 
при в=р: +... р, для вероятности Р„_,._в- случае 


переменных условий опыта при большом пи малых. 


Рь› в: .› Ра: 


Предлагаем читателю самостоятельно показать, что 
ее. Пуассона является пределом последова-- 


ЛЬНОСТИ биномиальных распределений при р= в/п (п=Ь 
= .), где ран постоянная. 


| *) Предоставляем читателю самостоятельно убедиться в этом, 
_ представив е? формулой Маклорена с` остаточным членом рр 
_ порядка в форме Лагранжа. 
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Глава 2 


СЛУЧАЙНЫЕ ВЕЛИЧИНЫ 


и 1. Общие определения. Дискретные случайные величины 


1.1. Определение случайной величины. В п. 1.2.2 
было дано интуитивное определение случайной величины, 
основанное на ‘экспериментально наблюдаемых фактах, 
и было показано, что с каждой случайной величиной 
можно связать некоторые события —ее поладания в раз- 
личные множества. Для изучения случайных величин 
необходимо, чтобы для некоторого множества таких со- 
бытий были определены вероятности, т. е. чтобы это 
множество событий принадлежало полю событий о%, свя- 
занному с данным опытом. Мало того, целесообразно 
потребовать, чтобы это множество событий само пред- 
ставляло собой поле событий (подполе поля 7). Таким 
образом, мы приходим к следующему определению слу- 
чайной величины. 

Случайной величиной называется” величина, которая 
принимает в результате опыта одно из множества воз- 
‘можных значений и с ‘которой связано некоторое поле 
событий —ее попаданий в заданные множества, — содер- 
жащееся в основном поле событий «Х.. 

1.2. Скалярные и векторные случайные величины. 
Случайные величины могут быть как скалярными, так 
и векторными. В соответствии с общим определением 
Вт мы будем называть’ векторной случайной величи- 
ной или случайным вектором любую упорядоченную сово-‘ 
купность скалярных случайных величин. Так, например, 
п-мерный случайный вектор Х представляет собой сово- 
_купность й скалярных случайных величин {Х., ..., Х„}. 
Эти величины Х., ..., А„ будем называть координатами 
случайного вектора Х. 

Координаты случайного вектора в общем случае могут. 
быть комплексными случайными величинами (принимаю- 
щими в результате опыта комплексные числовые значе- 
ния). Однако от комплексных величин всегда можно 
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избавиться, заменив каждую: комплексную величину 
парой действительных —ее действительной и мнимой 
частями. Таким образом, и-мерный вектор с комплекс- 
ными координатами всегда можно ‘рассматривать как 
2п-мерный вектор с действительными координатами. 
Впрочем, это не всегда выгодно, во многих случаях 
удобнее рассматривать комплексные случайные величины. 
В дальнейшем будем для краткости называть вектор 
с комплексными координатами комплексным вектором, 
а вектор с действительными - координатами действитель- 
ным вектором. 

°’ Очевидно, что вместо случайного вектора можно рас- 
сматривать случайную точку в соответствующем простран- 
стве. Это совершенно равноценные понятия. 

Кроме скалярных и конечномерных векторных слу- 

чайных величин, в теории вероятностей приходится изу- 
чать и случайные величины более сложной природы, 
в частности случайные бесконечные числовые последо- 
вательности (бесконечномерные векторы) и. случайные 
функции. _Мы будем изучать здесь только конечномерные. 
случайные ‚величины. 
° 1.3. Распределение случайной величины. Каждое собы- 
тие поля`9,„<%’, связанного со случайной величиной Х, 
представляет собой попадание величины Х в некоторое 
множество А. Это событие записывается в виде ХЕА 
‚ (Х принадлежит множеству 4). Из свойств поля событий 
следует, что множества А, соответствующие всем событиям 
1ХЕА} Е9Х,, образуют алгебру или о-алгебру множеств 4 
в пространстве значений величины Х. Соответствие между 
множествами АЕ и вероятностями попадания в них 
величины Х представляет собой. распределение вероятно- 
стей в пространстве значений величины Х. Это распре-_ 
деление вероятностей называется распределением (законом 
распределения) случайной величины Х. 

В дальнейшем будем рассматривать только. распреде- 
_ ления действительных случайных величин (скалярных 
или векторных). При этом всегда будем отождествлять 
события вида ХЕА с соответствующими множествами Д. 

В некоторых случаях все возможные значения слу- 
чайной величины, за исключением, может быть, некото- 
рого множества значений М, имеющего нулевую вероят- 
ность (Р (№) =0), принадлежат некоторому подпростран- 
_ству или какому- нибудь другому многообразию простран- 
ства ее значений. В таких случаях говорят, что распре- 
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деление случайной величины полностью сосредоточено. 
_на этом подпространстве или многообразии. 

Пространство значений случайной величины Х с ал- 
геброй или о-алгеброй А множеств в нем и определенной 
на этих множествах вероятностью образуют вероятност- 
ное пространство, называемое ИВ простран- 
ством случайной. величины Х. | 
_ 1.4, Дискретная случайная величина. Рассмотренные 
в п. 1.2.Г ив $ 1.8; 1.9 примеры случайных величин | 
показывают, что некоторые случайные величины имеют 
‘только конечное множество возможных значений, как, 
например, число появлений или частота события при п 
опытах. Другие имеют счетное. множество возможных. 
значений, как,. например, число событий пуассоновского __ 
потока, происходящих в течение данного интервала вре- 
мени. Третьи имеют несчетное множество возможных о 
значений, как, например, время безотказной работы 
прибора, ошибки измерений, координаты точки попада- | 
ния при стрельбе. Случайные величины первых двух. 
типов во многих отношениях значительно проще, чем 
величины третьего типа. Поэтому их целесообразно вы-. 
делить в отдельный класс. 

Дискретной случайной величиной называется случай- 
ная величина с конечным или счетным множеством воз- | 
можных значений. 
| -1.5. Распределение дискретной случайной величины. | 
Распределение дискретной случайной величины полностью | 
определяется вероятностями всех ее возможных значений. - 
Действительно, приняв за элементарные события возмож- 
ные значения, получим конечное или счетное множество. 
элементарных событий. Вероятности этих элементарных | 
‚ событий полностью определяют распределение дискретной 
случайной. величины. Таким образом, если Х —случайная | 
величина с возможными значениями х,, ..., Хх, то ее _ 
распределение определяется формулой 


Р(Хх)  -Ь.. М. 


Сумма всех этих вероятностей равна единице, 


= 

ь2 ВР» = 1, 

№= 1 = ь . 
так как события Х=х,, ..., Х = хх несовместны и обра-. 
‚ зуют полную группу (случайная величина. Х принимает 


— 
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НУ РТУ 


ее: результате опыта какеое- нибудь одно И только одно 


из значений х,, ..., ЖА ь 


Вероятностным пространством дискретной случайной 


величины Х служит множество ее значений 1х, р а 
с алгеброй всех подмножеств этих значений и вероят- 
ностью, равной для каждого подмножества сумме вероят- 
_ностей значений, входящих в это подмножество. 
-Однако за вероятностное пространство дискретной 
случайной величины можно принять и все пространство, 
точками которого являются ее возможные значения, 
с о-алгеброй всех подмножеств этого пространства и 
вероятностью, значение которой на каждом подмножестве 
равно сумме вероятностей возможных значений, содер- 
жащихся в этом подмножестве. 


Пример 1. Распределение числа Х появлений события при п 
_ опытах пределе формулой Р(Х = т) =Рш,и (т=0,1,..., п), 


где вероятности р вычисляются по формулам $ 1.8. В данном 


случае 
. \ № =п--1, 1 =0) = ..., АМ+тТЕЙ, 


Ру = Ри, р.= РР! п, ..., Ри+1== Ра, п. 
В частнссти, биномиальное распределение определяется в силу 
_ (1.24) формулой Р(Х =т) = Спртд"-т (т=0,1, ... п). 
Пример 2. Распределение частоты У события при п опытах 
определяется формулой | 
Р( =) =Ри, -(т=о,Т,..., п). 


Пр имер 3. Распределение Пуассона (в частности, _распреде- 
ление числа Х ссбытий пуассоновского потока, происходящих в те- 
чение данного интервала времени) определяется формулой (1.46): 


на аа о Не 


с Пример 4. Распределение г-мерного р вектора д. 
координатами которого служат числа Х|,..., Х; появлений несов- 
местных событий А1, ..., А;, образующих полную группу, при п 
опытах определяется формулой (1.36): 


Ё - п т,. 
: Х — —рР Ч т: тэ Ч г 
Р [, { ы "») "у а. ее па! то! зо ти Ра Рз Рг } 
та... т, =п. 


Вектор. Х в данном случае имеет полиномиальное распределение, 
полностью  сосредоточенное на (г—1)-мерной плоскости х!-.., 
‚..-ЕХрЕЕП Г- мерного пространства. 


м - х ‚61 


. 


_$ 2. Непрерывные случайные величины. Плотность 
случайной величины “ 


2.1. Плотность случайной величины. Распределение 
случайной величины с несчетным множеством возможных 
значений невозможно задать вероятностями отдельных 
значений. Поэтому необходим другой подход к таким 
случайным величинам. 

В $ 1.2, где мы имели в виду в основном случайные 
‚величины с несчетным множеством значений, мы видели, 
что распределение экспериментальных значений действи- 
тельной случайной величины удобно характеризовать их 
_ относительной плотностью, которая представляет собой 
отношение частоты попадания в интервал к длине этого 
интервала. При неограниченном увеличении числа опытов 
частота стремится стабилизироваться около вероятности. | 
Кроме того, длины интервалов Ах при неограниченном 
увеличении числа опытов можно неограниченно умень- 
шать. В результате. гистограмма. будет стремиться к не- 
которой кривой, ординаты которой выражают отношения 
вероятности к длине интервала. Таким образом, мы при- 
ходим к понятию плотности случайной величины. 
Предположим, что поле событий %,, связанное со 
случайной величиной Х, содержит попадания ее в любые 
интервалы (прямоугольники в. случае векторной вели- 
чины Д). 

Плотностью (или плотностью вероятности) скалярной 
случайной величины Х называется предел отношения 
вероятности попадания ее значения в бесконечно малый 
интервал |[х, х--Ах) к длине. этого интервала Ах ей 
стягивании его в точку х: 

} 
# (х) = Нт р. 270 

Ах>0 " 

Кривая, изображающая плотность, обычно называется 
‚кривой распределения. Она представляет собой теорети- 
ческий аналог гистограммы. На рис. 7 представлен при- 
мерный вид кривой распределения. 

Если понимать неравенства. между векторами как 
совместное выполнение таких же неравенств между соот- 
ветствующими Е векторов (например, а<ь 


как а, <6,, Е=1,.../ п), Ах в знаменателе формулы 
(1) как произведение Ах. Ах, ... Ах, а Ах-+0 как 
Шах... АЯ „)—0, то формула (1) определит плот- 


ность и-мепного случайного вектора СХ. 
а. - 


— 


‘ника Ах при стягивании 


Таким образом, плотностью случайного вектора на- 
зывается ‘предел отношения вероятности его попадания 


в бесконечно малый пря- м. 


моугольник [х, х-+- Ах) к ы 
объему этого прямоуголь- 


его в точку х. 

Е Непрерывная. слу- 
чайная величина. Плот-. 
ность как обычная функ- 
ция существует только 
в том случае, когда при | а 
всех х существует предел Рис. 7. 

в (1) (конечный или бес- 
конечный). Поэтому имеет смысл выделить класс ‘случай- 
ных величин, для которых это условие выполняется. 

Непрерывной случайной величиной называется такая 
случайная. величина, вероятность попадания которой 
в любую’ бесконечно малую область бесконечно мала и 
для которой при каждом х существует конечный или 
бесконечный предел в (1) *). Из этого определения следует, 
что вероятность попадания непрерывной случайной ве- 
личины в любую точку (или на любую кривую при п >> 1, 
поверхность при п = 3, гиперповерхность при п > 3) про- 
странства ее значений равна 0. 

Если. плотность }(х) непрерывна в точке х, тб. для 
любой последовательности прямоугольников { Ю), к 
жащих точку х, сходящейся к точке х, 


ет. = ® К 
АСЕ» Шт К,= п А,=» ГИ ПЕ, (2 


где (К) — объем прямоугольника и (длина ивторЕал В, 


при и=1, площадь при п=2). 

| Для доказательства формулы (2) зададим произволь- 

но малое #>0 и выберем настолько малый прямо- 
угольник А», чтобы для любой точки * К», было . 


ео, © 


*) Достаточно, чтобы предел в (1) ‘существовал ‹почти при 
всех х, т, е. при всех х, кроме некоторого множества нулевой ме- 


ры. Множеством нулевой меры называется ‚такое множество, кото-_ | 


рое можно покрыть интервалами (прямоугольниками) сколь угодно 
малой суммарной мы Отлощади, объема). 
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вании (3). 


х 


+- 


- а для любого РР неравенство (3) будет выполнено 


при всех “ЕК,, так как ^,сК, при р>> ро. 
“Пуств х, ближайшая К ’ началу координат вершина 
прямоугольника . К» х,<хо для всех хЕВЮ,. На осно- 


и 


С другой стороны, из (1) следует, что для всех доста- 


точно малых прямоугольников Ю 


Р(ХЕК,) НЕ ВЕ 
СИЛЫ аа (5) 


Р. 


_Из (4) и (5) следует, что для всех достаточно больших р: 
1Р(ХЕВ,) 


Р(ХЕК,) 
ее (Кр) Е х 
На 5 +5 =е. 


и (Кр) к. ы 


Будем называть областью любое’ связное множество 
точек, имеющее определенный объем (длину при п=1, 
площадь при п=2). Легко понять, что’ любую область 
можно представить в, виде счетного объединения попарно 
непересекающихся прямоугольников. | 

_Пусть В — любая область. Если плотность {(х) не- 


прерывна в замкнутой области, полученной путем добав- 


ления к области В ее границы, то 


Р(ХЕВ) 
о (В) ^ 


/^ 


ви 


где ти М — нижняя и верхняя’ грани значения плот-. 


ности [(х) в области В: 


а ЕЕ М =вир (у. 


№ Пусть {К, | последовательность попарно непере- 


_ секающихся прямоугольников, объединением которых 


является область В. Предположим, что Р (ХЕ В)/о (В)>М. | 


Тогда это же неравенство справедливо, по крайней мере, . 


для одного из прямоугольников, из которых составлена 
область В, скажем для К,: Р(ХЕРЮ,)/ю(К,) > М. Дей- 


_ ствительно, если Р(ХЕК, № (К,) < М для всех прямо- 
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“ 


(Отсюда вследствие произвольности => 0 следует (2). р _ 


| угольников К», то в силу аксиомы сложения 
Р(ХЕВ = ХР(ХЕВЫ < М Хо (ВЮ = Мо(В). 


Обозначим прямоугольник К» для = которого 
Р(ХЕЮ,/о (К,) > М, через Ю®. Разделим каждую сто- 
рону прямоугольника` ^“’ пополам. Тогда прямоуголь- 
ник Ю“’ разобьется на 2” равных прямоугольников и, 


по крайней мере, для одного из них, скажем для А!’ =КЮ“, | 


будет выполнено то же неравенство: Р (ХЕ Ю®)/о (В®)> М 


Продолжая этот процесс деления прямоугольников, по-_ 


лучим последовательность прямоугольников. {ЮФ}, для 
каждого из которых | 


М. Бо.) и“ 


(В) 


‚Пусть х., —точка, принадлежащая всем прямоугольни- 


кам А‘. Очевидно, что такая точка существует и един- 
ственна. Следовательно, последовательность прямоуголь- 
ников {ЮР} сходится к точке х, и в силу (2) и (7) 


Р(ХЕКР) 
о (®®) 


1) = Нп ме 
: | р > ® 


} 


Полученное противоречие доказывает правое неравен- 
ство (6). Аналогично доказывается левое. < 

Из (6) следует, что формула (2) справедлива и в том 
случае, когда {Ю,} представляет собой произвольную 
`последовательность областей, содержащих точку х, и 
сходящуюся к точке х. 

№ Действительно, обозначив через” и, и М НИЖНЮЮ 
и верхнюю грани Г (х) в области К „, ‘применив неравенства 
(6) к каждой области К, и приняв во внимание, что 
последовательности {т„} и {М,} сходятся к [(х) в силу 
_ непрерывности ] (х), убеждаемся в справедливости вы- 
_сказанного утверждения. 

2.3. Вероятность попадания в область. ‚Определим 
вероятность попадания равное случайной. вели- 
чины Х в данную область А. | 

> Предположим сначала, что плотность {(х) величи- 
ны Х непрерывна в замкнутой ограниченной области Д. 


_ Возьмем произвольную последовательность ‹ разбиений 
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НАХ 
М 
НЫ 
Ак АЯ 


области Д 
ды НА ых 


На рис. 8 показано одно такое разбиение для двумер- 
ного вектора Х (п=2). Пусть 4, —максимальный из наи- 
больших диаметров областей А” (&=1,. к. АГ}: 

_ @р=щтах зар |х—х’|, Ит а, =0, 
х, хе А(Р) ыы 
т”, МР)—нижняя и верхняя грани .[(х) в обла- 
сти АЯ. Тогда при всех р будем иметь: 
М 


р 
Р(ХЕА)= У Р(ХЕАР) 
- = 

ив силу (6) Е 
т?) ЗР(ХЕА”) (А) < МР. 


Следовательно, при всех р 


м. 


х ем - 
р 
2 тё’о (Аг) ЗР(ХЕА) <, МР» (А). — (8) 


И 


> 


Из теории интегралов Римана известно, что при р-—+ со 

обе суммы в (8) сходятся к одному и тому же пределу, 

| _ _ равному интегралу от функции: 
[(х), распространенному на об- 
ласть А: Следовательно, веро- 
ятность попадания непрерывной . 
случайной величины Х в о0б- 
ласть А определяется форму- 
ЛОЙ т: 


Р(ХЕА) > (ах. (9) 


Если плотность {(х) кусочно непрерывна и ограни- 
чена в замкнутой области А, то разбив А на части, 
в каждой из которых [(х) непрерывна, и применив 
аксиому сложения, убеждаемся в том, что формула (9) 
справедлива и: в случае кусочно непрерывной ограни- 
ченной плотности [(х). Е 5 ся 
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Если . плотность {(х) неограничена в области А или 


сама область А неограничена, то, представив А как пре- 


дел последовательности ограниченных областей, в каждой 
из которых {(х) ограничена, как это делается при опре- 
делении несобственных интегралов, убеждаемся в спра- 
ведливости формулы (9) и в таких случаях. При этом 
несобственный интеграл в (9) всегда существует как 
предел последовательности неотрицательных НР 
не превосходящих 1. $, 

_ Таким образом, вероятность попадания случайной 
величины Х в данную область А равна интегралу от 
плотности этой величины по области А. 

В случае скалярной величины Х формула (9) опре- 
т вероятность попадания величины Х в интервал 
= (©, В): | 7 

В о 
еек Ном — 


В случае п-мерного вектора , Х интеграл в (9) пред- 
ставляет собой п-кратный интеграл по всем координа- 
там вектора х. Область А обычно определяется некото- 
рыми ‘неравенствами, из которых находятся пределы 
интегрирования по всем переменным. 

Величина ` } (х) ах, которая в силу (1) представляет 
собой с точностью до бесконечно малых высшего порядка 
вероятность попадания величины Х в бесконечно малую 

область объема Ах, называется элементом вероятности. 

Вероятностным пространством непрерывной случайной 
величины Х служит пространство ее значений с алгеброй 
множеств, для которых существует интеграл Римана 
в (9), и вероятностью, определяемой формулой (9)*). 


Таким образом, плотность непрерывной случайной вели- 


чины полностью определяет ее распределение. 

2.4. Свойства плотности. Изучим теперь основные 
свойства плотности. 

1) Из определения непосредственно следует, что плот- 
‚ ность не может быть отрицательной, ] (х) > 0.. 


= 


*) Легко понять, что совокупность всех множеств, для которых 
формула (9) и аксиома сложения определяют вероятность, образует 
алгебру, но не од-алгебру. Чтобы класс множеств, для которых. 
формула (9) определяет вероятность, был д-алгеброй, необходимо по- 
нимать интеграл как интеграл Лебега. Тогда формула (9) определит 
ая на б-алгебре бореЯевских множеств [42]. 
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_ - 2) Учитывая, что выполнение неравенств — со «Хо. 
‘представляет собой ‘достоверное событие (как в случае 
скалярной, так и в случае векторной величины Х), из‘ 


(9) получаем 


[*) 


К июах=1. — — (11) 


В случае п-мерной векторной величины Х интеграл здесь. 


следует понимать как п-кратный интеграл от — со до 
<о по всем координатам х,, ..., х, вектора х. 


Таким образом, плотность неотрицательна и интег- 
‚рал от нее по всему пространству значений случайной 


величины равен единице. Любая функция, обладающая 
этими двумя свойствами, может служить плотностью 


‚случайной величины. 


Пример 5. Равномерное распредёление. Так называется рас- 


пределение непрерывной случайной величины, плотность которой. 


постоянна в ее интервале. (а, 5) и а нулю вне этого 
интервала: 


] | 
Я 


- с: ® 999 ха, Ь). 
ное распределение характерно для фазы случайных ко- 
лебаний. Во многих задачах практики приходится рассматривать 


гармонические колебания со случайными амплитудой и фазой. 


В таких случаях фаза часто оказывается случайной. величиной, 
равномерно распределенной в пределах периода колебаний. 
Равномерное распределение характерно также для ошибок гру- 
бых измерений. Если измерение какой-либо величины производится 
с точностью до целых делений шкалы, без определения на глаз доли 
деления, то ошибка измерения может иметь любое значение, не пре- 
восходящее по абсолютной величине половины деления шкалы, при- 
чем нет никаких оснований считать вероятности разных значений 
различными. Больше того, можно с уверенностью сказать, что при 
большом числе таких ‘измерений все значения ошибки в пределах от 
минус половины деления до плюс половины деления шкалы будут 
встречаться одинаково часто. Поэтому ошибка грубых измерений, 
производимых с точностью до целых делений шкалы, представляет 


собой: случайную величину, равномерно распределенную в пределах. 


от —4/2 до 4/2, где А— цена деления шкалы. 
Равномерным распределением пользуются также при вычислении 
геометрических вероятносФей на числовой прямой (см. пример 1.3). 
Пример 6. Нормальное распределение определяется плотностью 


——_ 


С 


[(х) = 5- ое { Ребра, > 0. (13) 


Это распределение, занимающее особое ‘место среди всех распреде- 
лений, мы изучнм в $ 3.6. 


и : 


Пример 7. ил ыанаскве нормальное и рас- 


пределение определяется плотностью 


— 


(Хх) = У ть | уса ва} 1 ). `:> 0, (14) 


где 1 (х) единичная ступенчатая функция, равная | при х>0и 0 
при х < 0. Случайная величина с таким распределением неотрицй- 
тельна. 

Пример 8. 7- -распределение определяется плотностью 


7 (®) = Но а &х1 (х), ея (15) 
где Г (2) —гамма-функция, определяемая формулой 
—— | 
г (а = \ Е (6) 
: 0 


Частным случаем а рених при и=0 является показа- 
тельное распределение 


Г (к) = е-#41 (х). — 2 99 


Показательное распределение широко применяется в теории надеж- 


ности технических устройств и в теории обслуживания. 

Частный случай \у-распределения при’ любом натуральном ых на- 
зывается ‘распределением Эрланга. 

Для вычисления значений } (х) и’ вероятностей попадания в ин- 
_тервалы (— ©, х) при разных х в случае \у-распределения с & = 1/2 
° в [94] служит программа СОТК. - 
Пример 9. В-распределение определяется плотностью 


= и р-р )9-1 11а), р,9>0. (18 


Для вычисления значений / (х) и вероятностей попадания в ин- 


тервалы (— ©, х) при’ разных хв 194] в случае В- распределения Е Е: 


служит программа ВОТК. 
Использование программ ВоТВ И СотВ дает возможность ‘состав- 
лять программы для вычисления вероятностей попадания в любые 


интервалы для величин с В- и у-распределениями при любых зна-. 


чеёниях параметров р, 40, № и и. 
Пример 10. Равномерное распределение в области В п- -мерного 
пространства определяется плотностью | 


А-В, _ (9) 


где 1в(х)— индикатор области. В (функция, равная 1 в области В 
и 0 вне области В), ау (В) — объем (мера) области В. : 

В частности, равномерное распределение на прямоугольнике 
[Ехо |< Ь на плоскости определяется плотностью 


(с. Ив 6—1. (20) 


69 


- Равномерное распределение внутри эллипса 2) а*-- ур =1 на 
плоскости определяется плотностью. 


Кире т). | 61) 


а? 


Равномерным распределением на плоскости и в пространстве 
пользуются при вычислении геометрических вербятностей (примеры 
1.4 и 1.5). { 
| Пример 11. Нормальное распределение в п-мерном простран- 
стве определяется плотностью 


#(х) =. — ехр |-> и аГ) С ео) : =. 


_ где вектор х представлен в форме матрицы-столбца, верхний индекс 
«Т» означает операцию транспонирования матрицы, С — симметрич- 
ная положительно определенная матрица, а | С | —определитель мат- 
рицы С. В $ 4.4 мы о изучим многомерное норма ьноЕ рас- 
ррдетеНУе 


2.5. Случайная величина как функция элементарного 
события. Из определения случайной величины следует, 
что при появлении любого элементарного события каж- 
дая случайная величина принимает одно значение. Сле- 
довательно, случайная величина представляет собой Е 
цию элементарного события. 

Так, в примере 1 число появлений Х события А пред- 
ставляет собой функцию элементарного события, прини-. 
мающую значение 7 при появлении любого элементар- 
ного события ®={В.,..., В„}, в котором. т из событий 
В:, ..., В„ совпадают с Аи п_т—<сА. 

_ В примере 4 случайный вектор Х представляет собой 
функцию элементарного события, принимающую значение 
{т.,...., т‚} при появлении . любого элементарного со- 
бытия © ={В,, ..., В„Ъ в котором т, из событий Ву,..., В, 
совпадают с И, НГ) (т, ‚ди =0, у 
та... т, п). 

Любая случайная величина Х, если принять за эле- 
ментарные ‘события точки пространства ее значений, пред- 
ставляет собой функцию элементарного события, которая 
при появлении элементарного события &=х принимает 
то же значение ®«=х, Х =х (6) =0. 

Координата Х„ ‘любого случайного вектора А: == 
={Х,,..., А„} представляет собой функцию элементар- 
ного события, которая при появлении элементарного со-_ 
та @=х={х.,..., Х„} принимает значение ®,=х,, 

Р==Х,(0)=0, фе п). | 
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_ Наконец, случайная величина У ==ф (Х), представляю- 
щая собой данную функцию случайной величины Х, есть 
функция элементарного события, которая при появлении 
элементарного события ® =х принимает значение ф (6) = 
=ф(х), У=Ф (0). 

Однако не всякая функция элементарного события 
является случайной величиной. Чтобы функция элемен- 
тарного события ф(®) была случайной величиной, необ- 
ходимо, чтобы каждому множеству А некоторого поля 
в пространстве ее значений она ставила в соответствие. 
одно определенное множество элементарных событий, при- 
надлежащее полю ‹Р. Такие функции называются изме- 
римыми относительно соответствующих полей. 

Таким образом, любая случайная величина представ- 
ляет собой измеримую функцию элементарного события. 
Это принимается за определение случайной величины : 
при построении теории а. на основе теории 
меры. 


$ 3. Обобщение понятия плотности 


3.1. Плотность дискретной случайной величины. Пре- 
дел в формуле (1), определяющей плотность, может суще- 
ствовать только в том случае, когда’ вероятность попа- 
дания случайной величины в Любой бесконечно малый 
интервал длины (объема в случае п-мерного пространства) 
Ах бесконечно мала. Если вероятность в (1) представляет 
собой бесконечно малую низшего порядка по сравнению 
с Ах при каком-нибудь значении х, то предел в (1) можно 
считать равным бесконечности и принять | (х) = со. Если 
же вероятность в Ве не стремится к нулю при Ах—>0, 
как, например, в случае дискретной величины Х, то 
определить НР как обычную функцию вообще не- 
возможно. (Определить плотность в таких случаях можно. 
только с помощью обобщенных функций. 

Чтобы подойти к определению плотности дискретной ` 
случайной величины Х с возможными значениями ху,..., Хм 
и их вероятностями р;, .... Ру, рассмотрим отношение 
`В (1) при разных значениях х, предполагая, что ни один 
‘из интервалов (х„, Хь.1) (Е=1,..., М—1) не содержит 
ни одного возможного значения величины Х. Если точках 
не совпадает ни с одной из точек х,, ..., Хл», то при 
любом достаточно малом Ах интервал |[х, х-- Ах) не со- 
держит ни одного значения величины Х и вероятность - 
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попадания в этот интервал равна 0. Следовательно, плот- 

_ ность |(х) дискретной случайной величины Х существует 

‚ И равна нулю при всех хх, ..., хм. При х==х, вероят- 
_ ность попадания в интервал [х, х-- Ах)-равна р, при всех. 
достаточно малых Ах. Вследствие этого формула (1) дает 
Е(х) = со при х=х,, ..., хм. При этом вероятность по- 
падания в интервал (х,—е, х, |) равна р, при любом 
достаточно малом = > 0, так как этот интервал содержит 
значение х, величины Х ине содержит других ее зна- 
чений. С другой стороны, согласно формуле (10) вероят- 
ность попадания в этот интервал равна интегралу от 
плотности в пределах от х,—= до х,-- г. Следовательно, 


при любом достаточно малом # > 0 = 
ки ® — 
Гоа  Ш=Ь... М. 3) 
Хх-2 . 


Таким образом, плотность дискретной случайной ве- 
личины равна нулю всюду, кроме точек х,, ...,Хл, в кОТО- 
рых она «делает всплески в бесконечность», причем о 


5 ` 
7 


2 ры 


2—2 2,242 г 


Рис. 9. * в 


о _. «площади всплесков» в точках х,, ..., Хм равны соответ- 
ственно р,, ..., р». Такую плотность можно представить 
себе как нредел плотности, равной нулю всюду, кроме — 
малых интервалов (х, —1, х,--1) (Е =1,..., №), и равной 
соответственно р,/21, ..., Рм/21 в этих интервалах (рис. 9), 
при /—+0*). Ясно, чТо этот предельный переход не опре- 


*) Само собой разумеется, что вместо прямоугольных ‹импуль- | 
сов» на рис. 9 можно взять любые другие «импульсы», имеющие 4 
основание 2[ и площади, равные р... ИМ: : 
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_деляет плотность как функцию переменной х в обычном 
смысле, так как никакая функция не может удовлетво- 
рять условию (23) при любом = >> 0; интеграл от любой 
(интегрируемой) функции .по бесконечно малому. интер- 
валу бесконечно мал и веледствие этого не может_оста- 
ваться равным р, при произвольно малом г >> 0. Тем не 
менее подобные предельные переходы имеют определенный 
смысл и целесообразны для многих физических и техни- 
ческих приложений. Они приводят к понятию импульс- 
ной б-функции (см. приложение 1). 

Пользуясь 6- -функцией, можно определить ‘плотность 
ЕО случайной т Х формулой. | 


Но = Хр О - 


Действительно, подставив выражение (24) в (9), . прихо- 
дим к выводу, что вероятность попадания дискретной. 
случайной. величины в любую область А равна сумме 
вероятностей тех значений х,, которые содержатся в об-- 
ласти А. Следовательно, задав плотность ‘дискретной вели- 
‘чины Х формулой (24), мы полностью определяем. рас- 
пределение этой величины. 

3.2. Непрерывно-дискретные ‘случайные величины. 
Кроме дискретных и непрерывных, в задачах практики 
встречаются и такие скалярные случайные величины, 
_ для которых отличный от нуля предел в (1) существует 
при всех х, кроме конечного или счетного множества 
значений х., ..., Ххл, имеющих отличные от нуля вероят- 
ности р, ..., рм. Такие случайные величины называются 
непрерывно-дискретными. 

Плотность непрерывно-дискретной скалярной случай- 
ной величины Х ределяетоя формулой 


=ЬО- У (кк), ^ 9) 


где Е (х) —-неотрицательная функция, представляющая 
собой предел в (1) при ХХ кан). 


*) Множество значений случайной величины, имеющих отличные 
от нуля вероятности, не может быть более чем счетным. В самом. 
‘деле, не больше одного значения может иметь вероятность больше 1/2, 
‚не больше трех значений могут иметь вероятности в интервале 
(1/4, 1/2); и вообще не больше. 2Р—1 значений могут иметь вероят- 
ности в интервале (2-Р, 2-Р+\1). Следовательно, ‘расположив все. 
такие значения в порядке убывания вероятностей, их можно все 
перенумеровать. . 


В - Е - 


Для непрерывно- дискретной ‘случайной величины Хх 
‘формула ы дает — 


нове У рун, 


Любая функция вида (25), удовлетворяющая этому 
условию и условию Г (х) 0, может быть плотностью 
_ непрерывно-дискретной величины. 

3.3. Непрерывно- -дискретные случайные векторы. Рас- 
пределение случайного вектора может иметь значительно 
более сложную структуру, чем распределение скалярной 
величины. Отличные от нуля вероятности могут быть 
сосредоточены не только в отдельных точках п-мерного 
пространства, но и на кривых, поверхностях, а при 
п>3 и на многообразиях большей размерности. В за- 
дачах практики встречаются только такие случайные 
векторы, у которых во всех точках пространства значе- 
ний, кроме, может быть, конечного или счетного множе- . 
ства многообразий с сосредоточенными вероятностями, 
существует предел конечный или бесконечный в (1). Любой 
такой вектор имеет плотность, которая может содержать 
‚ б-функции. Если на т-мерном многообразии #(х)=0, 
т < п, сосредоточена отличная от нуля вероятность р, 
то плотность случайного вектора Х содержит слагаемое 
вида &(х)6 (й (х)). При интегрировании по любым пт 
координатам вектора х б-функция исчезает и получается 
выражение р (х) | / (х) |, где согласно правилу замены пере- 
менных в кратном интеграле / (х) —якобиан координат 
вектора Й (х) по соответствующим и —1 координатам век- 
тора х. Интеграл от этого выражения по оставшимся т 
координатам векторах равен р. 

Таким образом, если в пространстве значений век- 
тора Х положительные прно р, ..., Рм сосредо- 
точены на многообразиях Й, (х) = 0, ‚ Им(х)=0, авос- 
_тальных точках существует предел в (1), то плотность 
вектора Х определяется формулой 


№ $) | 
Рю <) + 2 8, (8 (в), = (26) 


где [1 (х), в, (х), ..., ак(х) —неотрицательные функния: 
причем чем 2, (х), ..., вм(%) зависят от выбора соответ- 
ствующих функций Й, (х),..., Ам(х). В частности, урав- 
‘нение К-го многообразия иногда можно записать, выра- 
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ч 


зив явно какие- нибудь координаты ‘вектора х через. 


остальные. Приняв совокупность этих координат за век- 
тор х’, а совокупность остальных координат за вектор и 

представим уравнение многообразия’ ‚в виде я. и: 
Этому соответствует функция А, (х) =” —Ф» (х’). При этом 
точку х,, в которой сосредоточена вероятность р,, можно 


считать многообразием нулевой размерности с уравне- 


нием х=х,. В этом случае й. (Хх) =х—х, и можно при- 
нять 2% (х) == 8, (Хи) = ры. 

В частном случае дискретного вектора Х, все распре- 
деление которого сосредоточено в точках х;, ..., Хм» 

Г. (Х) =0, П,(х)=х—хь, 

8ь (Х) = Рь (Е =1,..., М) 
и (26) принимает вид (24). В другом частном случае не- 
прерывного вектора предел в (1) существует во всех точ- 
ках пространства значений, 5, (х) ==... ==8»(х)==0 и 
(Хх) =| ©). Во всех остальных случаях вектор Х будет 
непрерывно-дискретным. 

Как мы увидим в примере 4.5, координаты непре- 
рывно-дискретного случайного вектора могут быть непре- 
рывными величинами. 

3.4. Вырожденные распределения. Рассмотрим подроб- 
нее частный случай вырожденного распределения величи- 
ны Х; полностью сосредоточенного на одном т-мерном 
многообразии, т < п, уравнение которого В (х) =0 до- 
пускает явное решение относительно каких-нибудь И — т 
координат вектора х. Представив уравнение этого много- 
образия в виде х”’=ф(х’), получим из (26) следуюнол 
формулу для плотности вектора Х *): 


(ху =Е(х)6 (м —Ф(х)). (27) 

Таким образом, если случайная величина Х” является 
определенной функцией другой случайной величины Х', 

Х" =ф(Х’), то их совместная плотность, (плотность состав- 

ного случайного вектора Хи. Хх определяется фор- 


мулой (27). Функция ©(х’) в (27), как мы увидим в при-. 


мере 4.5, представляет собой плотность величины Х”. 
В частном случае вырожденного распределения вели- 
чины ХЛ, сосредоточенного на подпространстве или сдви- 


# Так как 6-функция в (27) равна нулю всюду вне многообра-_ 


зия: х”=ф (х’), то функцию с (х) =5 (х', х”) можно заменить ее зна- 
чением на этом многообразии: 8(х, Хх) = (х,Ф(х)) = &1 (х’). Отбра- 
сывая ‚индекс у найденной таким путем новой функции, получим (27). 
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_ 


нутом подпространстве, имеющем уравнение х" = Ах" --с, 


где А —в общем случае прямоугольная матрица, а с— 
вектор сдвига, формула (27) принимает вид 


[(х) = (х') 6 (х'—Ах —с). 2.228) 
3.5. Вероятность попадания в область. Дискретными, 


непрерывными и непрерывно-дискретными случайными 
величинами исчерпывается все множество случайных вели- 


чин, встречающихся в задачах практики. Мы показали, 
` что для этих трех. типов случайных величин распреде- 


ление полностью определяется плотностью. Это дает осно- 
вание в приложениях теории вероятностей принять 
плотность за основную характеристику распределения 
любой конечномерной случайной величины. При этом 
будет справедлива формула (9) для вероятности попада- 
ния случайной величины в любую данную область. Однако 
в общем случае при интегрировании в формуле (9) сле- 
дует учитывать все принадлежащие области А части ее 
границы, на которых сосредоточена отличная от нуля 
вероятность (на которых аргументы б-функций, входящих 
в | (х), обращаются в нуль). Так, например, при вычисле- 
нии вероятности попадания в интервал [“, В) следует 
учитывать, что вероятность значения & случайной вели- 


чины Х может быть отличной от нуля. Тогда получим 


В-0 : В-=г 
Ра<х<в= \{ годах а ах. 
&—0 : = &—= : 


$ 4. Функция распределения. 


4.1. Функция распределения и ее связь с плотностью. 


°— Функцией распределения случайной величины Х назы- 
вается вероятность неравенства. Х < х, рассматриваемая. 


как функция параметра х: 
Е(х)=Р(Х <Х.. Ре (29) 


Функция распределения непрерывной, дискретной или 
непрерывно-дискретной случайной величины может быть 
выражена через плотность. Для этого достаточно вычис- 


лить вероятность неравенства Х < х в формуле 429) по _ 


я (9) или (10): 


х 


Ро =Р(-ю<х<х=\ Кии, (30) 


_© 


вы 
ди оомадЫ 


- 
ь 


где в п-мерном случае интеграл представляет собой п-крат- 
ный интеграл, причем интегрирование по переменной и; 
производится от — со до х; (1=1, ..., п). | 

Дифференцируя формулу (30) по х в случае скаляр- 
ной величины Х и вспоминая, что производная интег- 
рала по верхнему пределу равна значению подынтеграль- 


ной функции при этом верхнем пределе, получаем 
Г(х)=Р’ (х. ее. И 


Таким образом, плотность скалярной случайной величины 
есть производная функции распределения. - 

В случае векторной величины Х. напишем формулу (30) 
_в скалярной форме 
Х} 


Е (х,, р У | 1 Рак», и,) и, ... ди, 


—х 


Ра 


и продифференцируем ее один раз по х;, один раз по х,, 

ит. д., один раз по х,. В результате получим 
ОПЕ (х1,..., Хх 

ео ети, 8) 

Таким образом, плотность п-мерной случайной вели-. 
чины представляет собой симметричную смешанную про-_ 
изводную п-го порядка функции распределения. 

4.2. Свойства функции распределения скалярной вели- 
ЧИНЫ. Изучим свойства функции. а 
случайной величины. 

1) Из формулы (30) следует, что ‘функция РосПрОВЕА® 
ния — неубывающая функция х. 

2) Из (30) и свойства (11) плотности следует, что 

Е (— <) = Ш Р(х)=0, то и 
х->- ©. 

_3) Из (30) и соглашения в п. 2.1 о том, как надо | 
понимать интегралы от плотности, следует, что функция. 
распределения непрерывна слева: Е (х) =Е (х—0). 

4) Функция распределения дискретной случайной ве- 
личины возрастает скачками в точках х.,..., Хм сООТ- 
ветственно на р,, ..., рм и постоянна в любом интер- 
вале, не содержащем ни одного из значений х,, ..., Хм, 
так как вероятность события Х < х не изменяется при 
изменений х в таком интервале. Таким ‘образом, функ- 
ция распределения дискретной ` случайной величины изо- 
бражается ступенчатой линией (рис. 10). 


о. 


Рис. 11. 


5) Из свойств интеграла с переменным верхним пре- 
делом следует, что функция распределения непрерывной 
случайной величины непрерывна и дифференцируема на 
всей числовой оси. Однако ее производная может быть 
и разрывной функцией, ‘как, например, в случае равно- 
мерного или показательного распределения (рис. 11). — 

6) Функция распределения  непрерывно-дискретной 
случайной величины имеет точки разрыва х,, ..., хм со 
скачками соответственно р., ..., рми непрерывна и диф- 
ференцируема во всех остальных точках числовой оси 
бис. №). - 

4.3. Вероятность попадания скалярной величины в ин- 
тервал. Зная функцию распределения скалярной случай- 
ной величины, можно вычислить вероятность ее попадания 
в любой полузамкнутый интервал |[@, В). 

№» В самом деле, так как события Ха и а Е. <В 
несовместны и их объединение есть событие Х< < В, то 


Р(Х<В=Р(Х <а-Ра Хх < в, 
откуда в силу (29) следует | — 
Р(& < < В) =Е (В) —Р (9). - (3) 


Таким образом, вероятность попадания случайной вели- 
чины в данный интервал равна а а ее функции 
распределения. на этом интервале. 

Положив в (33) В=а- а, > 0, и устремив 2к нулю, 
получаем 

Р(Х=9) =Р (+0) —Е(@). | (34) 
Таким образом, вероятность попадания случайной вели- 
чины в данную точку равна скачку ее ф ум распреде- | 
ления в данной точке. 


Пример 12. Найти закон распределения времени Т безотказ- 
ной работы системы 6 момента начала эксплуатации при к. 
‚ интенсивности отказов ^ (см. пример 1.11). 

Найдем сначала функцию распределения этой слуажнаВ вели- 
чины, т. е. вероятность того, что случайная величина Т будет меньше, 
чем 1 Е ВЕРДИ. Но это есть. вероятность того, что система 
откажет до момента #. Вероятность безотказной работы системы до 


момента {, т. е. Р(Т > В, представляет собой функцию надежности _ 


системы р (2). При постоянной интенсивности отказов А функция 
надежности р (1) =е-М. Следовательно, 


Е(/=РСТ < Р-р =и-е-м)ЩО. 


При {<0 эта вероятность. равна 0, потому что исправная система _ 
не может отказать до начала ее эксплуатации (конечно, предпола- 
гается, что ее начинают эксплуатировать в исправном состоянии). 
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Следовательно, _Е(1)=0 при #<0. Дифференцируя полученную 


_ Формулу, находим плотность времени Т безотказной работы 
(В =А-МмМИ®. — 


‚ Таким образом, время безотказной работы системы (момент пер- 
вого отказа).при постоянной интенсивности отказов А имеет пока- 


_ зательное распределение с параметром А =^. 


Пример 13. Найдем распределение интервала времени Т между 
двумя последовательными событиями пуассоновского потока событий 
постоянной интенсивности А. В этом случае среднее число событий, 


_ происходящих в интервале времени длительности #, равно и ==. 


Функция распределения интервала Т между двумя последователь- 


ными событиями потока есть, очевидно, вероятность ТОГО, ЧТО В ИН- 


ее времени длительности { произойдет хотя бы одно оЧАНЕЕ 
Е (0) =Р (Т и. 


‘Вероятность противоположного события — в интервале времени дли- 
тельности { не произойдет ни одного события — вычисляется по фор- 
муле е- 46) при и =АЁ, т=0: 

| - 7 Ро==е-№. 
Ее | | 
Е (И =1—ро=1-—е-М. 


Но это—та же формула, которая была получена в предыдущем при- 


> 


мере для функции распределения времени безотказной работы сис- 
темы. -Гаким образом, интервал времени между двумя последователь- 
ными событиями в пуассоновском потоке постоянной интенсивности 
представляет собой случайную величину, распределенную по пока- 
зательному. закону. 

Пример 14. `Некоторая система эксплуатируется. в течение 


времени #2. Если она откажет в течение этого времени, то ее ремон- 


тируют и снова используют, пока она не прослужит ‘срок &,. Найти 
закон распределения времени © работы системы после первого ре- 
монта. - 

°— Очевидно, что случайная величина 5 связана с временем Т ра- 
боты системы до первого отказа соотношениями 


$=0-при Род, < Зы при Та, 


Так как $0, то при $< 0 вефункция распределения се равна 0. 
При $> 0 она выражается через функцию распределения Р (1) вре- 
мени Т безотказной работы системы формулой 


9-е < я =Р (к —Т < 3) =Р(Т > &—$) = 


: < =|—Р(Т < О (Г) 
аа сюда выражение г (0) из примера 12, получаем 
С (5) =“ 6 $)’ при 0<$ 9% - (1) 
оц 69=1 при $ > &, так как © < #5. Из (П) ВИДНО, что 
б(+0 =г`^*. 


‹ Таким образом, функция С ($) имеет разрыв со скачком 6 № 


в точке $=0. Во всех остальных точках числовой осн она непре- 
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_ рывна. При любом $Е (0; & ) она имеет производную Ле 


‚а при 


любых 5 < 0 и $> &‹ ее производная равна нулю. Следовательно, $. 
представляет собой непрерывно-дискретную случайную - величину 
с одним исключительным значением. Ее плотность определяется фор- 


_мулой 


29 =6' = 


Ле-^ (1% — 5) е-^1о6 ($) 
0 


‘при $Е[0, &4], Е 
при $ 


Пример 15. Текущее значение входного сигнала Х нелиней- 
ного элемента представляет собой непрерывную случайную величину 
с функцией распределения ГР (х). Зависимость . текущего значения 
связано со значением входного 


выходного сигнала У этого элемента 
сигнала Х в тот же момент времени 


Е - | Х при 
== а при 
: \ —а при 


‘ соотношением 
Е < 
Ха, 
Х < —а 


(элемент с такой характеристикой называется ограничителем). Найти 


распределение выходного сигнала. , 


Ясно, что функция распределения 


С (и) случайной величины У 


‘равна 0 при любом у<-—а (неравенство У < у при у=р—а невоз- 
можно) и равна 1 при любом у > а (событие У < у при иу> а досто- 
верно). При |у| < а событие У <у совпадает с событием Х < у. 


Следовательно, С (у) =Ё (и) при 


|и| <а.. Очевидно, 


что если 


Е (—-а) > 0, Е (а) < 1, то функция распределения С (у) имеет разрыв 
со скачком Ё (—а) при у=—@а и разрыв со скачком 1—Р (а) при 
у=а. При всех остальных значениях у функция С (у) непрерывна и 
дифференцируема. Следовательно, в этом случае У представляет собой 
непрерывно-дискретную случайную величину’ с двумя исключитель-. 


ными значениями —а и а. Ее плотность определяется формулой 


& (у =Р® ЕЕ (-9 6 иа И —Е (@16 (у—а) при [у|<а,. 


‘где [(х) — плотность случайной величины-Х. Вне интервала`(—а, а) 


& (у) =0. 


Пример 16. Пусть Х — непрерывная случайная величина 
с плотностью }(х). Найти закон распределения длины пересечения 
случайного интервала (Х—1, Х-+-И с данным интервалом (а, 6), 
предполагая, что 21 < 6—а. Примером практической задачи такого 
типа может служить, например, следующая задача из теории стрель- 
бы. Войска противника сосредоточены на участке линии фронта от 
точки а до точки 6. При выстреле снаряд уничтожает на линии 
фронта все на интервале длины ‘21. При этих условиях снаряд по- 
ражает войска противника, расположенные на той части интервала 
(а, 6), которая накрывается` случайным интервалом (Х— 1, ^-Д, 
где Х —случайная координата центра зоны поражения. Подобные 


задачи о перекрытиях часто возникают в теории стрельбы. 


В. зависимости‘ от значения х величины Х накрытая часть ин- 
тервала (а, 6) будет равна или 21 (рис. 13, а), или нулю (рис. 13, 6), 
или любому промежуточному значению в интервале (0,21) (рис. 13, в- 


и 13,2): — 


И=0 при Х <а—[ и при Х > 6-1, 


И=Х—а+1 прий-—1<Х <а+ 1, 
И=ь--1—Х при 6-1 < Х<Ь-Ь 
И=21 _ при а-1<Х <6-—1 
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х 
\ 


а 


_ Для выполнения неравенства И <и при 0<иж<?21 необходимо, 
чтобы удовлетворилось одно из двух несовместных неравенств 


а х- Хх 5+ 7, 


я =. = х-4 0 +н 
Рис. 13. 


Х—а--1<и или в 1—Х < и. т функция распределения 
С (и) случайной величины И опреде формулой 


С (и) =Р (И < < ф=Р а! < и)--Р (6-4 1—Х < и) = 
Е: ЕРИХ <иа—ЭЕР(Х > 6+1) 
р последние вероятности через плотность по Формуле (10), 


рим | 
№ь 


и+а— © 
б= \ Гоа | Гоа = Г 
т - 5+/1-ц 
+1-и 
в(и=!— \ # (х) ах. (1) 
и+а-—1 


Так как накрытая часть интервала (а, 6) не может быть отрицатель- 
ной, то С (и) =0 при и= 0: А вследствие того, что И не может пре- 
восходить 2[, событие И < и достоверно при любом и> 21, вслед- 
ствие чего б(и=1 при и> 21. Но из формулы (11) следует, что 


- Ь-+Е | 
бе ош $ (о ах, 
| ь-1 
ве=Е \ р (х) ах. 
а+1 


$ 


Следовательно, функция распределения С (и) терпит разрывы в точ- 
ках и=0 и и=21 со скачками, равными соответственно 


я 6+1 
=. Ито 6 =1— ) бк) ах. 


р2=1-—0 (2) =1— ом 


а+1 


Таким образом, накрытая часть интервала (а, 6) представляет. 
собой непрерывно-дискретную случайную величину/ И, реализации 
которой сплошь заполняют интервал [0, 21|, и при этом вероятности 
двух исключительных реализаций 0 и 2{ отличны от нуля. 

Плотность накрытой части интервала (а, 6) на основании (31) 
определяется формулой ы 


& (и) = а: (и) | рад (и) -- рзб (#—29,:- (и) 


где д1 (и) =0 при и< 0 и при и>?2Ь а в интервале (0,21) равна _ 

производной функции распределения 'б (%), определяемой формулой _ 

(Г) и (11). Дифференцируя формулу (Г) по правилу дифференциро- 

‚ вания определенного интеграла по верхнему и нижнему пределам, 
получим при 0<и.< 21 


91 (и) == б' (и) =[(и-фа—П-+ (-+1/— и). < =. 


Естественно возникает вопрос: существуют ли слу- 
чайные величины, не относящиеся ни к одному из рас- 
смотренных трех классов случайных величин, с кото- 
рыми приходится встречаться в задачах практики? Чтобы 
убедиться в том, что существуют, достаточно привести 
пример такой случайной величины. 


Пример 17. Рассмотрим случайную величину Х, функция рас- — 
пределения которой РЁ (х) определяется следующим образом: прини-- 
мается Р (х) =0 при х< 0, Р (х) =1 при х— 1; затем интервал (0, 1) 
делится на три равные части и в средней части (при хЕ (1/3, 2/3]) 
принимается Р (х) = 1/2; каждая из сставшихся. частей снова делится на 
три равные части, и в средних частях принимается соответственно 
Е (х) =1/4и Е (х) = 3/4; каждая из оставшихся частей в свою очередь, 
делится на 3 равные части, и на средних частях Ё (х) принимается рав- 
ной соответственно 11/8, 3/8, 5/8, 7/8; этот процесс деления оставшихся 
частей на 3 равные части продолжается неограниченно; и каждый 
раз на средней части ЁР (х) определяется как среднее арифметическое 
се значений на соседних интервалах, на которых она уже опреде- 
лена (рис. 14). При этом в силу свойства непрерывности функции 
распределения слева Р(х) определится и во всех точках’ интервала 
(0, 1), не принадлежащих ни одному из интервалов, на которых она 
определена описанным образом. Ясно, что построенная таким путем 
функция распределения РЁ (х) непрерывна. Суммарная длина интер- 
валов, на каждом из которых она постоянна, равна |. Действитель- 
но, один интервал постоянства Ё(х) имеет длину 1/3, два имеют 
длину 1/9, четыре— 1/27, и вообще 2Р интервалов постоянства Ё (х) 
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А, у ых Е - : - = | 2 и: 


_ имеют длину 113241, Следовательно, суммарная длина всех ‘интер- 
валов постоянства Е (х) равна 


на $5.03 И - =1. 


Таким т суммарная длина ингервалов постоянства Ё () сов- 
падает с длиной интервала (0,1), на котором она. изменяется от 0 
до 1. Следовательно, множество“ точек роста функции РЁ (х) имеет 


//3 ы 2/3 
Рис. 14. 


° / Нулевую-меру *). Несмотря на это, множество точек роста функции 
| Е (х) несчетно. В самом деле, функция Р (х) непрерывна, вследствие 
чего ее изменение в любой точке (не на интервале, а в одной точке) 
равно нулю, и если бы множество ее точек роста было счетным, то. 
она вообще не могла бы изменяться и была бы постоянной (сумма 
Е _счетного множества нулей всегда равна нулю как сумма бесконеч- 
ного ряда, все члены которого равны нулю).” 
Таким образом, функция ЕР (х) непрерывна и имеет производную, 
- равную нулю, во всех точках числовой оси, кроме ` несчетного мно-_ 
жества точек ее роста, имеющего меру нуль. В точках же роста 
_ функция Ё (х) не имеет производной. Очевидно, что случайная вели- 
чина с такой функцией распределения не является ни дискретной, 
ни непрерывной, ни непрерывно-дискретной.. 
== Чтобы дать более общий пример, обозначим только что опреде- 
ы _ ленную функцию распределения через Ро (х). Пусть ф (х) —монотонно 
- возрастающая функция с произвольной областью определения на 
числовой оси и с областью значений [0, 1], 4 (х) — монотонно воз- 
растающая функция, отображающая интервал [0,1] на себя (т. е 
. С областью определения и областью значений [0, 1]). Очевидно, что 
з _ случайная величина с функцией распределения Е (х) = фр (Ро(Ф (х))) 
также не будет ни дискретной, ни непрерывной, ни непрерывно- 
диск ретной при любом выборе монотонно возрастающих функций фи \$. 


Р * 


*) См. сноску на стр. 63. 


В дальнейшем будем рассматривать только такие слу-. 
чайные величины, которые имеют плотность, возможно 
содержащую линейную комбинацию 6б-функций. 

4.4. Вероятность попадания ‘случайного вектора в пря- 
моугольник. Пусть Х —п-мерный случайный вектор, Ё(х)— 
‚его функция распределения. Обозначим через АЕ при- 
ращение функции распределения Р (х) при изменении А-Й 
координаты х, вектора х и при неизменных значениях 
_х; остальных координат, #15 А. На основании аксиомы 
сложения величина А7”Ё представляет собой вероятность 
попадания величины Хх в прямоугольник со стороной /[ 
по К-й оси и с бесконечными в обоих направлениях сто- 
ронами по остальным осям. 

Применяя последовательно аксиому сложения, при- 
ходим к заключению, что вероятность. попадания слу- 
чайного вектора Х в прямоугольник А, сторонами кото- 
рого по осям х,, ..., Хь, служат интервалы Г:,...,[,, 
а остальные стороны которого совпадают с. соответствую- 
Щими ‘координатными осями, определяется формулой _ 


РЕВ А АЕ. 


4.5. Свойства функции распределения ть век- 
тора. Изучим основные свойства НИ распределения 
случайного вектора. - 

1) Из определения (29) и неотрицательности плот- 
ности следует, что функция распределения Е(х) случай- 
ного вектора Х является неубывающей функцией каждой 
из координат вектора х. 

2) Из (29) и свойства (11) плотности следует, что 
Е(х)—+0, когда хотя бы одна координата вектора х 
стремится к —<0, и Ё(х) —*1, когда все координаты _ 
вектора х стремятся к + <. ` 

_3) Из (29) и соглашения в п. 3.5 о том, как надо 
понимать интегралы от плотности; следует, что функция 
распределения. Е (х) непрерывна слева по каждой коорди- 
нате вектора х. | 

4) Из формулы (35) следует, что 


А... АГРЕ> О 


для любых натуральных р < п, любых #., ..., ^ „1 <& < 
<№<...< Е, <, и любых интервалов Г., ..., т я 


Любая функция г (х), обладающая этими четырьмя 
‚свойствами (точнее, свойствами 2), 3) и 4), поскольку 
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| — - ее 
1) представляет собой следствие свойства 4)), может быть 
функцией распределения случайной величины. | 
_ Это доказывается совершенно элементарно, если су- 
_ ществует производная Р’(х) (ЁЕ’ (х) = д”Е (х)/дх,...дх„ 
_в случае п-мерного вектора Х), возможно содержащая 
‚ линейную комбинацию д-функций. В этом случае по до-. 
казанному в 5$ 2и 3 существует случайная величина Х, 
для которой [(х)=Е”(х) служит плотностью. Функция. 
Е (х) служит для этой величины Х функцией распреде- 
ления. 

Доказательство в общем случае требует привлечения 
_теорни меры и здесь не приводится. 


Глава 3 


ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ СЛУЧАЙНЫХ — 
ВЕЛИЧИН 


$ 1. Математическое ожидание. 


1.1. Математическое ожидание дискретной случайной 
величины. Распределение полностью характеризует слу- 
чайную величину. Чтобы определить распределение слу- 
чайной величины, надо задать ее плотность вероятности 
или функцию распределения. Однако такая полная, ис-. 
черпывающая характеристика случайной величины до-_ 
вольно сложна. Между тем для решения многих задач 
практически вовсе не нужно знать распределения слу- 
чайных величин, а достаточно знать лишь некоторые 
числа, характеризующие их распределения, так назы- 
ваемые числовые характеристики случайных величин. Для _ 
грубой ‘характеристики скалярной случайной величины 
можно, так же как в $ 1.2, ограничиться ее средним 
значением и величиной разброса возможных значений. 

Чтобы подойти к определению среднего значения слу- 
чайной величины по данному ее распределению, рас- 
смотрим выборочное среднее дискретной случайной ве- 
личины Х с возможными значениями х,,“..., Хм и веро-_ 
ятностями этих значений р., ..., рм соответственно. Оче-_ 
видно, что при достаточно большом числе опытов п 
каждое из значений х., ..., хм должно появляться мно- 
гократно. акне что величина Х приняла т; 
раз значение х,, т, раз значение х,, и т. д., тм раз 
значение хл, т--...-- ту=и. Тогда выборочное сред- 
нее выразится ме 


= т е. Жи 


Но т,/п есть частота” значения х, р... Е 
довательно, выборочное среднее дискретной случайной 
величины равно сумме всех ее Возможных значений, ум- 
ноженных на их частоты. 
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При неограниченном увеличении числа опытов п час- 
_тоты значений х,, ..., хм стремятся стабилизироваться 
около их вероятностей. Поэтому, чтобы определить сред- 
_ нее значение случайной величины’Х как абстрактную 
характеристику ее распределения, достаточно заменить 
В НОВ формуле частоты т,/п, ..., тм/п значений 
х,....Ам Их вероятностями рь, ..., к. Это приводит 
К ‘следующему определению. | 
_ _ Математическим ожиданием или средним значением 
_ дискретной. случайной величины называется сумма всех 
_ее значений, умноженных на их вероятности. 
Математическое ожидание случайной величины Х мы 
будем обозначать МХ или, сокращенно, т, *). 

На, основании данного ‘определения математическое 
‚ожидание дискретной а величины Х выражается 
формулой 


ее. о 


Математическое ожидание произвольной (однознач- 
ной) функции ф(Х) дискретной случайной величины Х 
на основании данного определения выражается формулой 


=. 
Мф (Х)= ХФ (ры. ых (2) 


Действительно, в данном случае величина У=ф(Х) 
представляет собой. дискретную случайную величину 
_с возможными значениями Ф(х,), ..., Ф(хм) и вероят- 
ностями этих значений, равными р., ..., Рм соответ- 
ственно. Если некоторые из значений ф(х,) функции 
ф(х) совпадают, то вероятность этого общего значения 
величины У=ф(Х)` равна сумме соответствующих веро- 
_ятностей р,. Таким образом, формула (2) определяет 
математическое ожидание. величины Е = (Х) и в этом 
ЕН 

1.2. Общее определение математического ожидания. 
Пользуясь формулой (2.24) для плотности дискретной 
случайной величины, можно записать (2) в виде 


мо = | ФГ ам (3) 


_*) Иногда, особенно в иностранной литературе, математическое 
‘ожидание величины Х обозначается ЕХ от английского ехрес{е4. 
уа|ше (ожидаемое значение). 
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Эту формулу естественно положить в основу определения. 


математического ожидания для случайных величин всех 

трех типов, встречающихся в задачах практики. 
Математическим ожиданием функции ф(Х) случайной 

величины Х с плотностью | (х) называется интеграл (3). 
В частном случае непрерывной величины Х и кусочно 


непрерывной функции ф(х) ЕВА: (3) представляет 


собой интеграл Римана. 
Ясно, что математическое ожидание функции Ф(Х) 
существует тогда и только тогда, когда 


[=] 


_-х 


_ Чтобы получить формулу для вычисления математи- 
ческого ожидания функции ф(Х) в случае непрерывно- 


оби < о". о 


дискретной величины Х, подставим в (3) выражение _ 


(2.25) ее плотности. = | 
Тогда получим Е : 


© 


— — 
МХ) = } вок Хор = ©) 


Если в частном случае областью возможных значе- 


ний величины Х служит не вся числовая ось, а только 


какой-нибудь ее интервал (а; 6), то плотность [(х) равна ^ 


нулю вне этого интервала и интегрирование в (3) про- 

изводится от х=а до х=Ь. В-этом случае интеграл (4), 

а следовательно, и. математическое ожидание величины 
ф(Х) заведомо существует. 


Ра 


*) Если интеграл (4) расходится, то реселится по крайней мере 
один из интегралов 


|.) : © 


} © ого, | 9 Фа, 
где Фф_ (х) =ши {0, ф(х)}; Ф+ С) — тах {0, ф (х)}. Если расходится 


один. из них, то Мф (Х) = — или МФ (х) = — ©. ‘Если м 
оба, то 
Ь 


(ога — 


228: 


не стремится. ни к какому пределу, когдааи р, неограниченно во3- 


растают независимо одно от другого. 
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В частном случае при ф ты х формула (3) определяет 


математическое ожидание ‘случайной ЕТ А: 


**) 
‘ 


п.=мх— Тобан. Е 8) 


— ых 


В ‘случае векторной величины Х интегралы в (3) и 


_(6) представляют собой кратные интегралы, распростра- 


ненные на все пространство значений величины Х. Функ- 
ция ф(х) в (3) может быть скалярной (действительной 


’или комплексной), векторной или матричной. При этом, 


как обычно, интеграл от векторной (матричной) функ- 
ции понимается как вектор (матрица), координатами 
которого (элементами которой) служат интегралы от соот- 
ветствующих координат векторной (элементов матричной) 


функции. 


Принимая во внимание сказанное, приходим к вы- 
воду, что математическое ожидание т, случайного век- 
тора Х с координатами Х,, ..., Х,„ представляет собой 


вектор с координатами т =МХ,, ск 8 = АТА. 


1.3. Свойства математических ожиданий. Основные 
свойства математического ожидания вытекают непосред- 
ственно из свойств интеграла. 

1) Если функция Фф(х) представляет собой постоян- 
ную ф(х)=с, то в силу свойства (2.11) плотности веро- 
ятности 


Ме= \ с (хах=е \ Кюах=е. (7) 


Таким образом, математическое ожидание неслучайной 


величины равно самой величине. 
* 2) Далее, из свойств интеграла следует 


м У (х)= { оь дах = 


—“«=1 


[2 


- Ум } «Га = ХсьМеь(Х). в 


Заметим. теперь, что любые комплексные случайные 
величины Х, = А, -Н АХ, (Е=1, ..., п) можно рассмат-. 
ривать как функции 2п-мерного случайного и Хх 


_ с координатами Х;, ЛХ, ... Х»„ Х„ ХА, =Ф(Х) 
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(^=1,..., п) *). Поэтому из (8) следует, в частности, 
что для любых скалярных случайных-величин Х,,...,Х 
`действительных или комплексных, 


м» ах ‚= Хомх,. (9) 


Таким образом, ‘математическое ожидание. линейной 
функции случайных величин равно той же самой функции 
от их математических ожиданий (свойство линейности 
операции математического ожидания **)). 

В частном случае п == =] отсюда следует, что при ум- 
ножении случайной величины на число ее математическое 
ожидание умножается на то же число. 

3) Нрис =, ое Виз (9) вытекает теорема сло- 
жения математических ожиданий: ‘математическое ожи- 
‚ дание суммы случайных величин всегда равно сумме их 
математических ожиданий: 


мух, У мх,. (10) 
4) Ясно, что формулы (7) — (10) справедливы. как для 
скалярных величин, так и для матричных (в частном 
случае — векторных, если пользоваться представлением 
векторов в виде матриц-столбцов) величин с, Х, с,, 2: Си» 
ды д (9) следует, что для любой неслучайной 
матрицы С’и случайной векторной или матричной вели- 
чины АХ. 


МСХ = СМХ. о 
Точно так же из (9) вытекает формула Ре 
МХС-=(МХ)С.. (12) 


Само собой разумеется, что в случае прямоугольных (не. 
квадратных) матриц С и Х буква С в (11) и ея не мо- 
жет означать одну и ту же матрицу. 

Комбинируя` (7) и (11), получаем 


М (АХ а.) = АМХ + а.. (13). 


ы: В $ 41 будет показано, что, ‘рассматривая действительную 
случайную величину как координату некоторого случайного вектора 
и вычисляя ее математическое ожидание как математическое` ожида- 
ние функции этого случайного вектора по формуле (6), мы получим 
тот же результат, что и при вычислении по формуле (3). 

**) Операцией или оператором математического ожидания мы 
называем переход от случайной величины к ее математическому. ожи-_ 
данию, 


ее ь 


в”... 


кая > де ^ ы ео и 


$2. Моменты второго порядка. 


2.1. Дисперсия. Теперь можно определить абстракт- 
ные аналоги всех выборочных числовых характеристик 
$ 1.2. Для этого достаточно заменить все выборочные 
средние математическими ожиданиями. Предварительно 
_ введем понятие центрированной случайной величины. 

Центрированной случайной величиной называется раз- 
ность между случайной величиной и ее математическим 
ожиданием, т. е. отклонение случайной величины от ее 
‚математического ожидания. Мы будем отмечать центри- 
‚рованные случайные величины индексом 0 сверху, 
Х‘=Х—т,, ’’=уУр—т, ит. д.. 

Дисперсией скалярной случайной величины называется 
математическое ожидание квадрата модуля соответствую- 
щей центрированной случайной величины. 

_ Дисперсию случайной величины Х будем обозначать 
ОХ или, сокращенно, О, *): | 
= р.=рХ=М] Ха = М Х—ть |. (14) 

_ Средним квадратическим ИЛИ стандартным отклоне- 
нием о; случайной величины Х называется положитель- 
НЫЙ = корень из ‚ее дисперсии: 


си УБЕ (15) 


Чтобы получить формулу для вычисления дисперсии, 
достаточно положить в общей формуле (3) для матема- 
тического ожидания функции случайной величины ф (Х)= 
= | Х°|*=|Хр— т, и соответственно ф(х)=|х—т, |. 
Если Х — действительная. случайная величина, то фор- 
мула (3) даст. 


. © 


Вох ) (х—т,)* (ах, (16) 


где Г (х) — плотность величины Х. Если Х комплексная. 
случайная величина Х=Х’-НХ”", то ее (3) даст 
[22] |=] 
Ехо ее Ее т т, ВА, х”) ах’ ах", (17) 
—-х —-х> 
где о = плотность случайных величин 
| / я : ‹ 


*) Иногда, то В иностранной литературе, дисперсия ве- 
о личины Х обозначается УХ от английского уаг!апсе (изменчивость). 
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Подставив в (16) выражение (2.24), получим формулу < 
_ для дисперсии ЕЕ ОВ дискретной случайной ве- — 


ЛИЧИНЫ: 


« 


р,=рХ = Х (х,—т, р = (18) 
=] Я ка 


Подставив в (16) выражение (2.25), получим ‘формулу 


для дисперсии непрерывно-дискретной случайной. ве-_ 


ЛИЧИНЫ: 


© <= м > 


р. рх- | опа быть 09 


. 


Пример 1. Найти математическое ожидание и дисперсию 
числа Х появлений события А при п независимых опытах, если ве- 
роятность события А в каждом опыте равна р (биномнальное рас- 
пределение — пример 2.1). 

По формуле (2) находим 


п 


тТх = Е Ра, а У тСТртот- ть | д=1— р. ы _- 


т=0 т=о0 


Для вычисления этой суммы воспользуемся производящей функ- 
цией (1.25): 


(= У р ни = ры 


т=0 


Дифференциру» эту формулу по и, получаем = © _- — 


= У ИР, и" т пр (Ч ри", о Ц 


т=0 


Положив здесь и=1 и учитывая, что 9-- р=1, находим. 


п 


У пРи, „= Фи (= пр. 


“ т=0 


Таким образом, ту = пр. 
Для вычисления дисперсии восйользуемся ‘формулой (17): 


Ба У (п— пр) Ри, п= У т?Рит, в — 


т=о0 т=0 


— 2пр х тРи, п-- пр? ый р ре (1). 


т=0 ь 
;: = 

Вторую сумму здесь мы уже вычислили, она равна пр. Третья сумма 
равна | в силу основного свойства дискретных распределений (то 


же, конечно, получится, если положить в`выражении производящей : 
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т. 
=] 


функции (1.25) и=!1). Для вычисления первой суммы умножим (Г) 
наци ее результат по и: 


>> а (и = т ро ПР, вит —= >. пит —1 — 


т=0 


= [при (4-Е ри)"-1] =ир (9-- при) (Ч-- ри)"-?, 


Положив здесь и=1, Йахедим 
п Е РЕ ы 
У тер, и [ифа (4) [вл = пр (9-- пр). 
т=0 с | 
Подставив найденные выражения сумм в (11), получаем О‚.=прд. 
Пример 2. Найти математическое ожидание и дисперсию слу- 


чайной величины Х ‚ распределенной по закону Пуассона (пример 2.3). 
По ‘формуле (2) находим математическое ожидание: 


пе три У" : сожрет У: Вит 


т=] 
—=не- (1 и Ни...) == ре Ме” =. 


По формуле (18) находим дисперсию: 


ыы И Е = 
и р) ры = т Пе 


к био Уи" е^ Ри? УЕ е- в, И 


=] 


Вторую. сумму мы уже вычислили, она равна |. Третья сумма равна 1. 
Остается вычислить первую сумму: 


У те-ое по т, о 


т=2 


Подставив найленные выражения сумм в (1), получаем Вх=ь. 


Таким образом; математическое ожидание и дисперсия случайной | 
о, распределенной по закону Пуассона, равны параметру | 
в (1.46). 
П ‚ример 3. Для равномерно распределенной в интервале (а, 6). 
случайной. величины Х (пример 2.5) формулы (3) И ео дают 


ев р > а —- —_ 6 — а)" 


Ни 


Прн мер 4. Для случайной величины Х, распределенной по 
| показательному закону. (пример 2.8), получаем 


[1 2 
2] а. 
= хре-^х ах =-- ‚ 2. | (+—+) а 


Пример 5. в условиях примера 2.14 матема тическое ожида- 
ние и дисперсия времени $ работы системы после: первого ремонта 


определяются по формулам (5) и (19): 
10 | 


и ! 2 — 
р,= | ое | ле-^ (№ $) 4$-- 
; ь 


1 РЕ 2) 2%0.-м 
+ [ох ) = то к. )- = Е. 


Пример 6. В качестве примера случайной величины, не имею- 


щей математического ожидания и дисперсии, рассмотрим случайную 


величину Х, рАсоревольнУю по закону Коши, который определяется 
плотностью 


— | (20) 


Е (ТУ) 
Несобственный интеграл в этой формуле расходится, так так 
| | = 
[и | аи 29 иаи _ 
ни и — 
0 


Следовательно, случайная величина Х не имеет математического 
ожидания. Однако если учесть симметрию распределения Коши от- 


носительно точки а и соответственно понимать интеграл в (У). 


- в смысле главного значения Коши [69, 109], то будем иметь 


В этом случае дисперсия случайной величины Х определится `фор- 


мулой 
[=] =) 
= | _(х— а ах = иай:. . 
== — = 60. 
д 
-_-9® 


Еф ГЕЯ 


#7 


и 


-симметрии. 


7 


Таким образом, случайная величина, распределенная по закону 
Коши, не имеет дисперсии даже в том случае, если ее математиче- 


ское ожидание считать ава И равным а из соображений 


я 2 = | \ . 

| 2.2. Ковариация. Ковариацией скалярных случайных 
величин Х и У называется математическое ожидание 
произведения. центрированной первой случайной вели- 


‚ чины и сопряженной центрированной второй случайной 


величины: 
В. ‚МХ. _ (21) 


Чтобы получить м для вычисления ковариации 
‘действительных случайных величин Х и У, достаточно 
рассматривать Х'У® = (Х —т}) (У— м, „} как функцию слу- 
чайных величин Х и Уи применить, формулу (3): 


|.) 


а, о т,) (и— те угу = (22) - 


- © -х 


где }(х, у) совместная плотность величин Х и У. 


Чтобы получить формулу для вычисления ковариации 
комплексных случайных величин Х=Х’-ЫХ” и У = 


= У’-- У”, достаточно рассматривать произведение Х*Уу® 


как функцию четырехмерного случайного вектора с коор- 


< = 


динатами Х’, Х”, У’, У”. Тогда получим 
|2] [2] © 06 Е 


= \ \ \ \ (хх —т,) (и— и —т,)х 


Е у") ах’ ах" ау’ 4”, (23) 


где {(х’, х’, и', у”) —совместная плотность случайных 
величин Х’, Х", у’. у”. 

За характеристику зависимости мёжду двумя случай- 
ными величинами Х и У принимается отношение их 


‘ковариации к произведению их средних квадратических 


отклонений. Эта безразмерная величина называется 


‘коэффициентом корреляции величин Х и У: 


|: в" ы 
Гху = = =. (24) 
0х0, УБ.р, 


пе образом, чтобы получить числовые характери- 


стики двумерного случайного вектора, следует добавить : 


к математическим ожиданиям и дисперсиям его коорди- 
нат еще их ковариацию или коэффициент корреляцни. 
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й з 
Очевидно, что ковариация случайной величины Х 
с самой собой равна ее дисперсии, Е. =), а ее коэф- 
фициент корреляции с самой собой равен единице, г,„ = 1; 
и р. „=1 и в более общем случае, когда а Хо, 


т, Ет | . 


& 


Пример 7. Найти ковариацию координат случайного вектора, 
равномерно ‘распределенного на прямоугольнике |[х|<а, ГУ <® 
(пример 2.10). 

Подставив в (22) выражение (2.20) плотности и имея в виду, 
что в данном случае т»„==т,==0, получим 


Пример 8. Для двумерного случайного вектора с ранены 
распределением внутри эллипса -х?/а?|- у?/0* =1 (примера о 
тх=ту==0 и 


Пример 9. Для двумерного случайного вектора с равномер- 
ным распределением Внутри эллипса ха (у—сх 2162 =1 ту = 
—= И,=0и 


сх+Ь У 1-х2/а2 


а 

а 

ху =\ ах \ ее ау = —— { 
-@  сх-ЬУ1-х2/аа. | 

_2. 3. Коррелированные и некоррелированные случайные 
величины. Зависимость между случайными величинами, 
характеризуемая коэффициентом корреляции, называется 
корреляцией. Случайные величины называются коррели- 
‚рованными, если их коэффициент корреляции отличен 
от нуля. Случайные величины называются некоррелиро- 
ванными, если их коэффициент корреляции равен нулю. 

Из (24) следует, что случайные величины не коррели-. 
рованы тогда и только тогда, когда их ковариация равна 
нулю. 

Легко видеть, что для некоррелированности случай- 
ных величин достаточно, чтобы их совместное распреде- 
‚ ление было симметрично относительно какой-нибудь пря- 
мой, параллельной одной из’ осей координат. 
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Пример 10.  оприатия случайных величин. Х и У Хх 


В случае: равномерного в Х винтервале (= а, а) равно 0: 


ох т 


ге величины = и У= ха не коррелированы, несмотря 
на то что они связаны самой жесткой зависимостью — функциональной. 


2.4. Моменты первого и второго порядков. Матема- 


_тическое ожидание, дисперсия и ковариация представ- 
ляют собой частные виды моментов случайных величин. 


Моментом первого порядка (первым моментом) слу- 


чайной величины называется ее математическое ожидание. 


Моментом второго порядка (вторым моментом) ска- 
лярной (в общем случае комплексной) случайной вели- 


чины Х называется математическое ОКДАЕиО квадрата ее 
о 


= м 


Центральным моментом второго порядка величины Х 
называется момёнт второго порядка центрированной вели- 
чины Х’=А—т,, т.е. ее дисперсия. 

Моментом второго порядка величины Х относительно 
точки а называется момент второго порядка рае 
д —й: 


4 


о с 420) 


Очевидно, что == (0), В =. = 
Смешанным моментом второго порядка скалярных 
случайных величин Х и У называется математическое 
ожидание произведения первой величины и сопряженной 
второй:” 
Ато И е (27) 


Центральным смешанным моментом второго порядка _ 


величин Х и У называется смешанный второй момент 
центрированных случайных величин Х* и У’, т. е. кова- 
риация величин Х и У. 

Смешанным моментом второго порядка величин Х и 
У относительно точек а и Ь называется смешанный вто- 
рой момент разностей Х—аи У— 5: 


>< 


„, (а, В=М(Х—а р). | (28) - 


Ясно, что Е (0, 0), Алу = ху (т„, ту). 
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льда шины ьньы лиш аб ды д. РУ 


очи. воььвь мии лил. тиви льет... лы ел. 


УЕ ЧУН 


аш тдждатикке ВЕД 


> отаЗИ В (25) и (27) Х=т,--Х*, УЕ, ЧУ и 


пользуясь свойствами (7) и (9) математических. ожида-_ 
ний, получим выражения моментов второго порядка через 


математические ожидания и центральные моменты вто- 
рого порядка: 


Аналогично из (26) и (28) получаем. | 
Е к (а) =ВЭ‚-т,—а 1, (31) 


ты (а, = (т,—а) (п,—). 4 (32) 


Таким образом, все моменты второго порядка выра- 
жаются через математические ожидания случайных вели- 
чин и их центральные моменты второго порядка. 


Формула (31) показывает, что диспёрсия случайной 
величины представляет собой наименьший из всех ее мо- 
ментов второго порядка. 


% 


$3. Моменты второго порядка случайных векторов 


\ 


3.1. Момент второго порядка, ковариационная матри- 


ца, корреляционная матрица. Моментом второго порядка. 


(вторым моментом) случайного ‘вектора Х называется 
матрица вторых моментов всех его координат: 


Уз 712 .:: Ут | тр: 
И де МАХ, — 


Уп: И ... пп. о 


Момент второго порядка центрированного случайного 
вектора Х'’=Х—т, называётся вовариациенной матри- 
цей случайного вектора Х: 

Кат 12 +88 Ар 
|. | 9 зе |. 
В = 21 22 | 2п 


й ил Рио ет пп 


_Нредставив вектор Х в форме матрицы-столбца, можем 
переписать определения второво момента и ковариацион- 
ной матрицы случайного вектора Х в виде 


г. =МХХ*, К,=МХ9Х*, _ (35) 


4 -# 22992 


хх = а Е т; я | (29) | 
Ух, = Ау - 1, т, | (30) 


‚- и=МХоХ9. — (84) 


>“ 


где звездочка означает операцию транспонирования 

матрицы с заменой всех ее комплексных элементов соот- 

 ветствующими сопряженными числами. 

о „Матрица, элементами которой служат коэффициенты 
корреляции координат Х1, ..., Х„ случайного вектора Х, 
‘называется его корреляционной матрицей: 


„ 


а 1 Га в: ГП 


г ов. Г Рра 
К: Е р Е 5 ы Гра 55 УЕ К Е |) 
РР `94 


_ | Подставив в первую формулу (35) Х=т,- Хи, 
пользуясь свойствами (7) и (9) математических ожи- 
даний, получаем соотношение между моментом второго 
порядка, ковариационной матрицей и математическим 
ожиданием аа вектора: 


Г. =АК„-Ет,„ту. < (37). 


3.2. Взаимный момент второго порядка. ‘и взаимная 
ковариационная матрица. Обобщая определение (35), 
назовем взаимным моментом второго порядка (вторым 
моментом) двух случайных векторов -Х и У матрицу 
(в общем случае прямоугольную) 


г = МХу*, › > 588 


ПН а матрицей ИЛИ ковариацией 
случайных векторов Х и У назовем взаимный момент 
второго порядка соответствующих центрированных слу- 
чайных векторов ‚Х°’=Хр—т, и У’=Ур—т,, К, = 
— М хХ‘у“*. 
°— Взаимные момент второго порядка, ковариационная 
матрица и математические ожидания векторов Х и У 
_ связаны соотношением, аналогичным (37): 


Гу = КН т.т,. (39). 


Случайные векторы Х и У называются коррелиро-. 
ванными, если К хи 5 0, и некоррелированными, если 
К,,=0. Из этого определения следует, что векторы Х 
и У не коррелированы тогда и только тогда, когда каж- 
дая координата одного из них не коррелирована со всеми 
‘координатами другого. 

3.3. Операторы моментов второго порядка. Как из- 
вестно, любая матрица определяет линейный оператор, 
отображающий одно пространство в другое (или в то же 
самое). 
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_ Линейный оператор Г,, определяемый матрицей Г,,, 
называется оператором момента второго порядка слу- 
чайного вектора Х. 

Ковариационным оператором случайного вектора Х. 
_ называется оператор момента второго порядка соответ- 
ствующего центрированного случайного вектора у т. № 
оператор К, определяемый ковариационной матрицей 
К, вектора Х. 

_ Аналогично определяются взаимный оператор момента 
второго порядка и взаимный ковариационный оператор 
двух случайных векторов Х и У. 

В частном случае ковариационный оператор К, ска- 
‚ лярной случайной величины "Х представляет собой опе- 
ратор умножения на дисперсию Д,, этой случайной вели- 
ЧИНЫ. 

(3.4. Свойства моментов второго порядка. | Из (38) — 
(35) следует, что моменты второго порядка случайных. 
векторов обладают эрмитовской симметрией (являются 
эрмитовыми): 


Г; = МХ*Х* = МХХ*=Г,, фр=7 


Ура: _(40) 


2) Из (35) следует, что матрицы Г и К, неотрица- 
тельно определенны. 


> Действительно, для любого вектора ее стол- 
бца) и имеем 


НЕ. и=М (их) (Х*и) =М (ХТи) (т = Мхи 5, 
(41) 
причем знак равенства возможен тогда и только тогда, 
когда ХТи=0 с вероятностью 1, т. е. когда координаты 


случайного вектора Х связаны линейной функциональ- 
ной зависимостью. Действительно, ` 


МИ Хти = | [хТи Вах = Е 1хТи | (х)ах > 0, 
ар 17 хи|>0 
если | | | т: 
Р(|Хти|>0)= (\ [()ах>0, 
| хГи | 9: 
где неравенство под знаком интеграла указывает, что 


_ областью интегрирования служит часть пространства, 
в которой выполнено это ее < 
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Таким образом, момент второго порядка случайного 
вектора представляет собой эрмитову неотрицательно. 
гопределенную матрицу. В $ 4 мы увидим, что всякая. 
матрица, обладающая этими двумя свойствами, может 
служить ковариационной матрицей, а следовательно, и 
моментом второго а некоторого Е. век- 
тора. 

3) Легко убедиться также в том, что при изменении 
порядка случайных векторов их взаимные второй момент 
`и ковариационная матрица переходя в эрмитовски со- 
пряженные. матрицы: 

РБ ИК. 9 


‚ух 


4) Из неотрицательной определенности матрицы ГСК ‚) 
следует, что ее определитель действителен, неотрицате- 
лен и равен нулю тогда и только. тогда, когда коорди- 
‚ наты случайного вектора Хх (соответственно Х* = Х—т,.) 
связаны. линейными функциональными зависимостями. › 
Действительно, определитель эрмитовой матрицы .ра-. 
_вен произведению ее ‘собственных значений, а собствен: 
ные значения неотрицательно определенной эрмитовой 
матрицы все неотрицательны. Отсюда следует, что опре- 
делитель матрицы Г,(К,) неотрицателен. и равен нулю 
тогда и только тогда, когда она имеет нулевое собст- 
венное значение. | 
Если нуль является т- кратным собственным значе- 
нием матрицы Г,(К,) (т.е. т из п ее собственных зна- 
чений равны нулю), то в пространстве значений векто- 
ра Х существуют т взаимно ортетональных векторов 
Ф1, --.› Фи» Для которых 


О А т). 


Умножив это соотношение слева на 9" и' учитывая {35), 
получаем 


2”. 


_^ Фр д МХ, МХ в 
Отсюда следует, что с вероятностью | ке 
Ф*Х = 0. (=Ь...., м). 


Таким образом, в случае т-кратного нулевого собствен- 
ного значения матрицы Г, координаты вектора Х свя- 
заны 7 независимыми линейными соотношениями. В этом 
случае распределение вектора Х полностью сосредото- 
чено на (п — т)-мерном поднространстве,. образованном. 
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п — т собственными векторами матрицы Г,,, соответствую- :. 
щими. отличным от нуля собственным значениям (соот- 
ветственно на (п —1т)-мерном подпространстве, образо- 
ванном И—т собственными векторами матрицы К,, 
сдвинутом на вектор т.,). Иными словами, матрица Г, (К,) 
имеет ранг г тогда и только тогда, когда распределение 
случайного _ вектора Х полностью сосредоточено на г!- 
мерном подпространстве (соответственно на г-мерном 
подпространстве, сдвинутом на вектор т,). 
5) Выразив на основании (36) элементы ковариацион- 
ной матрицы К,„, формулой №, ее. т убеждаемся = 
- в ТОМ, что и "определитель" “корреляционной матрицы _ 
неотрицателен и равен нулю в и только тогда, 
когда случайные величины Х1, ..., Хл связаны линейными. 
функциональными зависимостями. При этом ранг ‘корре- 
ляционной матрицы равен г тогда и только тогда, ко- 
‚гда распределение вектора Х. сосредоточено на г- мерном 
подпространстве, сдвинутом на вектор т... 
Таким образом, при любом п 


У11 У :-: т т 12 :., Вт 


. ео ре г о в 9.= ты , - — = в 0, (43) 
па \Уп2 -.: пп 1 Ра ае. Кап | 


и аналогичное неравенство справедливо для определи- 
теля корреляционной матрицы. 

6) При п=2. неравенства (43) и аналогичное = 
венство для корреляционной ‘матрицы дают 


ы | > | тн 1» уе | <у Ра, 751. 44 


Последнее неравенство убеждает нас в том, что коэффи- 
циент корреляции случайных величин не может быть по 
модулю больше единицы, и его модуль’ равен единице то- 
гда и только тогда, когда центрированные случайные | 
величины связаны линейной зависимостью. - 

7) Положив Х;=Х, Х,=У, перепишем первое нера- 
венство (44) в виде ее. 


МХМ ХМ Ув. ° (45. 


Знак равенства здесь имеет место тогда и только тогда, 
когда случайные величины Х и У связаны линейной 
зависимостью с. Х -с,У =0. | 

8) Заметим, что все установленные. свойства матриц 
Г; и К, присущи матрицам Г, и К,„, определяемым фор-. 
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мулами (35), и в том случае, когда Х представляет собой 
произвольную прямоугольную матрицу. В этом случае 
элементы матриц Е и: определяются формулами. 


7, ‚м2 х»х ой ‚м хх: т 
Вводя — (матрицы-столбцы) . 
Хр=[и- = Е ры, 


можем’ представить: формулы, одеоявищие Та и К 
в виде 


ра’ 
| Е — МХТ, 

Тогда, положив Х,=Х, Х,=7, перепишем первую фор- 
мулу (44) в виде 
_ МХТ ЗМ ХМ У, -. - (46) 


где модули следует понимать как модули оВериЛовЫ 
нормы) векторов: 


Ра МИХ, р, ПУР= "у, ай 


Знак равенства в `(46) имеет место тогда и толькб тогда, 
когда случайные векторы Х и У связаны линейной за- 
висимостью с, Х-с,У =0.. 

3.5. Линейные преобразования случайных векторов. 
Рассмотрим теперь случайный вектор У, полученный 
линейным преобразованием вектора АЛ: 


У=АХ -а.. - | (48) 


Его математическое ожидание определяется формулой 
(13), ноу мы перепишем в виде 


т, = Ат, а. = (49) 


Вычитая (49) из (48), получаем У*= АХ*. Пользуясь 
этим соотношением и определением (35), находим кова- 
риационную матрицу вектора У: 


К, = МУ°У®* = МАХ" Х"* А*. 
Но в силу (11), (12) и (35) 
И И А А*. 
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| Следовательно, | ь т 
К,=АК,А*. (50) 


Эта формула показывает, что при преобразовании 
случайного вектора Х линейным оператором с матри- 
цей А его ковариационная матрица умножается слева 
на матрицу А, а справа на эрмитовски сопряженную 
матрицу А*. | 

В частном случае, когда У —скалярная: случайная 
‘величина, А представляет собой матрицу-строку, А = 
=[а; ... а], и формула (50) определяет дисперсию слу- 
‚ чайной величины У: 


ы | | 
2 Араб. т 

‚9=1 
В частном случае некоррелированных случайных вели- 
ЧИН Хь г. ЭТ ‘формула принимает вид 
-5 ра», (52) 


где О,=^К, „— дисперсия ‘величины Х, Е. 7 
В частном "случае при п=1 отсюда следует, что при 
умножении случайной величины на число ‘ее м. 
умножается на квадрат модуля этого числа. 

` Аналогично выводится формула 


Ки=АКиВ* > 69). 


для взаимной ковариационной Ви случайных век- 
торов 


й=АХ-а,, ИВУ-Ь. (54) 
В частном случае при У=Х формула (53) принимает 

‚о ВИД | ы Е 
Коли ны АК,В*. 5 (55) 


Эта формула определяет взаимную ковариационную -ма- 
трицу случайных векторов 2 и (, полученных двумя 
разными линейными преобразованиями одного и ‘того 
_же случайного вектора Х;: 


2=АХ--а, -И=ВХ-Ь. | (56) 


В частном случае скалярных величин Д и И матри- 
цы А и В представляют собой матрицы-строки, =: 
=[а, ... а,|, В=[Ь, ...6,], и формула (55) определяет 
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а — о на Е: 


В частном случае некоррелированных координат Х;, ... 
..., Х„ Вектора Х эта формула принимает вид 


Ён == > Раб ° (58) 
р=1.- Ех 


рев, ==) 

Чтобы ‘привести формулу (00) в случае некоррелиро- 
ванных величин Х;, ..., Х» к удобному для приложе- 
ний виду, будем, рассматривать р-й столбец матрицы А 
‘как матрицу-столбец а,: 


а, =[а:р ар. бир" (р=1, ..., п). 


Тогда формула (48), ‘определяющая вектор У, перепи- 
шется в виде 


У = $ Ха, Ча. : (59) 


Формула (50), определяющая ковариационную матрицу 
вектора У, в силу того, ‘что о при 9==р, примет 
ВИД а 


- Зри = 


где р, =А рр — дисперсия. величины Х,, т.е. р-й элемент 
диагональной матрицы: А: (= а. 

Формула (60), конечно, может быть выведена непо- 
средственно из (59) с. ‘учетом свойств (7), (10), 1) и р 
математических ожиданий. 

_ К аналогичной форме приводится в случае вектора Хх 
с некоррелированными координатами и формула (55). 
:. Заметим, что в случае линейных преобразований без. 
сдвига (48), (54), (56), когда а =6, = 0, соотношения (50), 
(53), (55) справедливы также и для вторых моментов Г. 
Следует, однако, помнить, что если а,, 8,5=0, то фор- 
мулы (50), (53), и (55) справедливы только для КОВЕЕИ 
ционных матриц К. 


Пример 11: Найти математическое ожидание и дисперсию 


частоты Р` события А при п независимых опытах, если вероятность А 
в каждом опыте равна р. 


= 


—— 406- 


з 
“, 
29 
м 
= 
. 
м 


_ Пусть Хи--число появлений события. А при одном А-м опыте. 
Эта величина имеет два возможных значения 0. и 1, вероятности 
которых равны соответственно 9=1— р и р. Поэтому ее матема-. 
тическое ожидание т и дисперсия Рь определяются по форму 
(2) и (18): 


ЕЕ тк =0-4--1-р= р, 
- Ре=(0—р)*-9- (1 — р) р = = ^?. 9-9" -р=р9- 


Таким образом, ‚все величины Х\1, ‹..., Хин имеют одинаковые мате- 
матические ожидания и дисперсии, равные соответственно р и р94. 
Частота события при п опытах определяется формулой 


- п 
: >. 1 Е 
" =. 2х | | = 


так как число его появлений при п опытах равно ‘сумме чисел его 
появлений в отдельных опытах, т. е. Х:-...--Хи. Таким образом, 


частота Р представляет собой линейную функцию случайных вели- 
чин Ху, ‹.., Аи. Поэтому для нахождения. ее математического 
‘ожидания можно применить формулу (9% ы 


з 


МВ= т МХь=- (ар) = =р. 
йе} 


Для вычисления дисперсии частоты Р а на основании 
теоремы, которая будет доказана в п. 4.2.4, из независимости 
опытов вытекает некоррелированность случайных величин-Х1, ...,Хи. 
ОЕ для вычисления дисперсии можно рва формулу (52): 


Этот же результат получится, если воспользоваться результа- 
тами вычислений. математического ожидания и дисперсии числа Х 
появлений события А при п опытах в примере | и заметить, что 


в силу того, что ВБ=Х/, 
`МР=—мх,  оР=-Ерх. 
И: п: 


Наконец, заметив, что Х=Х1--..,--Х»„, можно значительно 
проще получить результаты примера 1 по формулам для математи-_ 
ческого. ожидания’ и дисперсии суммы некоррелированных случай- 
ных величин. 

`Пример 12. Найти ‘математическое ожидание и дисперсию _ 


_ среднего. арифметического значения х действительных случайных 
‘величин Ал, ..., Ап. 
-`_ По формулам (49) и (51) находим = 


их Ум р хх о 
` р=. . р, 9=1 
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где А ра = МХрХч. В частном случае некоррелированных величин 
Хх: У. последняя формула принимает вид 


хо» м 


где Ор == р р (р=1, 5 И а в случае, когда величины 
ее, За не коррелированы и` имеют одинаковые математические 
ожидания и дисперсии, равные соответственно т; и Рх, полученные 
коты дают 


ыы 1 — Га 
мх А: (пт.) =тТх, Аа (пох = а 


- 


Пример 13. Найти математическое ожидание и ковариацион* 
ную матрицу случайного вектора 2, координаты которого 21, ..., би 
представляют собой числа появлений значений х1, ..., Хм дискрет- 


ной случайной величины Х при п независимых опытах, если в каж- 
дом опыте Р (Х =х Эр, ®= м: Ь 

Пусть 20 —случайный вектор, координатами которого служат 
числа появлений значений х1, ..., Ху, в одном {-м опыте. Очевидно, 


что, возможными значениями вектора 24 служат единичные векто- 
ры М№-мерного. пространства 


е: = {1, 0, зу 0}, ез == {0, 1, её 0}, -. зу ел == {0, 2. 1}, 


так как в одном опыте появляется только одно из значений Х1, + .., Ху, ` 
Вероятности этих значений равны р!:, ..., Ру. Следовательно, ма- 
тематическое ожидание а. 24 равбо 


М2% -> е., ры рм} == Р. 


/ х | 
Таким образом, математическое ожидание вектора 2‘) представляет 
собой вектор р, координатами которого служат вероятности ру, ... 
..., Ру значений х1, ..., Ху случайной величины Х. Для опреде- 


ления ковариационной матрицы вектора 2 найдем сначала его 
момент второго порядка Г". ‘Заметив, что у-я координата вектора 24 
равна 1 с вероятностью р, и 0 с вероятностью 1—р находим 


диагональные элементы матрицы Г’: 
т |. ‚г Рай о 
фу», =1 р,--0 (1 р.) = Р,,. 


> 
Так как никакие две координаты вектора 2) не могут. быть одно- 
временно отличными от 0, то их произведение равно 0 с вероятно- 
стью 1. Поэтому „и =0 при г 72. Определив моменты второго 


порядка координат вектора 2, можно найти их дисперсии и кова- 
риации по формулам (29) и (30): 


= р, — 0? = р, (1—р.), 
а 
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Таким образом, ковариапионная матрица К вектора 2) определяется 
фермутой 

| | К=Л—рр" ь 

где Л —диагональная матрица с элементами ру, ‚..›, Ру, ар век- 


тор-столбец с теми же элементами. 
Заметив теперь, что й=20)--,..-+ 2%, находим математическое 
ожидание и ковариационную матрицу ее 2: 


` ШТ» ==пр, К‚=п (А — рр 5" 


$ 4. Канонические разложения случайных векторов 


4.1. Разложение по собственным векторам. Во многих . 
задачах практики удобно оперировать случайными век- 
торами с некоррелированными координатами. В связи 
с этим возникает задача приведения любого случайного 
‘вектора к вектору с некоррелированными координатами _ 
(декорреляции координат случайного вектора). Эта задача 
равноценна задаче приведения коарианонной р 
К диагональной форме. г 
_— № Из линейной алгебры известно, что любая эрмитов- 
ская (симметричная) матрица может быть приведена 
к диагональной форме унитарным. (ортогональным) пре- 
образованием. Пусть ^А;, ..., Л„—собственные значения 
матрицы К, (неотрицательные в силу неотрицательной 
определенности К,),. ф1, -..., ф„—соответствующие орто- 
нормированные собственные векторы. Тогда будут спра- 
ведливы соотношения 


К, > фев (61) 
(Ф», фа) = "Фр = бр (р, 9=1, ..., П) *). (62) 


Пусть Ф —квадратная матрица, столбцами которой Е 
жат собственные векторы: 


Ф= [9:...9#]. о 
Покажем, что случайный вектор | 
о - (64). 


имеет некоррелированные координаты. Для. этого ‘найдем 
по формуле (50) его ковариационную матрицу: — 


5 —=Ф*К .Ф = хх. [Ф:...Ф„|=Ф* [К,Ф;...К,Ф,|, ,. 


*) В первой части ‘формулы скалярное. произведение записано | 
в обычной форме, а во второй—в матричной, когда векторы пред- 
ставлены в форме ан брр=1, брр=0О при р79 
‚ (символ Кронекера). Е 
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| т. | А. Фи. . Ли: 
Ки = : [^.Фг... ры, |; ы 


= я .. Сы а 
фз 
Отсюда, принимая во внимание (62), получаем _ 
| Мм 0... 0 | 
0:6. 
0 о вьа я, 


‹ 

Таким о образом, ковариационная матрица случайного 
вектора Ц диагональна. Следовательно, его координаты 
не коррелированы и их дисперсии равны соответствую- 
щим собственным значениям ковариационной матрицы 
К„ ВИ ›=А,(р=\1, ..., п). _ 

Из (64) вытекает следующая формула для координат 
вектора’ Ц: 


о Пра Ф) о ФЕЬ..., п). (65) 


Эта формула показывает, что координаты вектора (Я) 
представляют собой проекции случайного сы Х® 
на собственные векторы. 

Наконец, представив вектор Х*® = -Х ЕЯ: разложением 
по базису Фь ... Фы, Уча и 


` 


х=т, + Фу) рт +0, . (66) 


Эта а дает разложение случайного вектора Х по 
собственным векторам его ковариационной матрицы. 
Сравнив (66) с (59) и применив формулу (60), получим 
разложение ковариационной матрицы случайного вектора 
Х по собственным РЕ > 


К, = У» о _ (67) 


Случайные величины т и бо. в разложении 
(66) ‘по собственным векторам называются главными ком- 
понентами случайного вектора Х. Это. название объ- 
ясняется тем, что среди проекций вектора Х на все 
возможные направления максимальную дисперсию, рав- 
ную наибольшему собственному значению /;, имеет про- 
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екция на о евныЕ вектор фт и при. любом : ` среди 
проекций вектора Х°’— И, ф,—.. И :Ф._г На все воз- 
можные направления максимальной дисперсией, равной 

5-му но величине собственному значению А;, обладает 
проекция на собственный в ф. а свой- 
ство собственных значений) [96, т. 3, ч. 1]: 


№ = $ир ф*К .Ф, 
[Ф |=1 


3 $—1 
^; = $ир ф* (к, 2 а. ф. 
1Ф]=1 р=1 : 

4.2. Вычисление собственных: значений и собственных 
векторов. Для получения разложения случайного вектора 
по собственным векторам необходимо найти собственные 
значения и собственные векторы его ковариационной 
матрицы. Эта задача сводится к решению алгебраиче- 
ского уравнения п-й степени 


СК. М|=0*) ^ 


и соответствующих систем однородных линейных урав- 
нений (61), что связано со значительными вычислитель- 


_ ными. трудностями. Поэтому для вычисления собственных 


значений и собственных векторов обычно применяют 
приближенные вычислительные методы линейной алгебры 
[107]. Одним из наиболее удобных для вычисления на 
ЭВМ является метод последовательных поворотов осей 
координат; приводящих наибольшие по модулю внедиа- 
гональные элементы ковариационной матрицы к ну 
[59] **). 


Пусть А Ра р < 4, — наибольший по модулю элемент ковариа- 


ЦИОННОЙ матрицы К» действительного случайного вектора Х = 
= [Х, в: жа Повернем оси координат в плоскости, образован- 


ной единичными ие аи (ортами) ер` И Ра» так, чтобы новые 
единичные векторы ер И е4 были направлены по осям проекции 


Т 
эллипсоида и Кхи=сопз на эту плоскость, т. е. чтобы проек- 
ций Хри Хо вектора Х наер и ед были некоррелированными. Обо-_ 


значив угол поворота 09, будем иметь | 
Хр=Х со 0— Хот 6, Хи=Х рт 0-- Хо соз 0. 


*) Через / мы обозначаем единичную матрицу. 


_**) В; [94] для вычисления собственных значений и собственных 


векторов этим методом служит программа Е1СЕМ. 
11 


- 


Г. 
‘ 


При этом элементы Пр, Е рр, а К рр» Ларе (ГР р, '9) преобразуются 
` по формулам 


| | Ера= Ёра С03 29+ =. (А рр— аа) Эт 26, 
нь | Г: О 
Крр=5) (рр Ка) Г 5 (Арр— ^аа) С05 20 — ро $1 20, 
Ре г 
Код е (Ерр- Ка) —5 (Арр— аа) 0$ 20 + ра эп 26, 


(р, 9), 
Каг = В ре Эт 0-|- Как с0$ 6, 


а остальные элементы остаются неизменными. Единичными векто- 


, [1 Е 2 ‹ 
рами ер и гу новой системы координат, полученной в результате 
поворота, служат векторы 


ер =ер с0$ 9 — ео зт 6, ед —=ерзт 0--е с0з 0, 
Определив 9 из условия Ара =0, получим 


2 ра 
Г: 


‘зе ее де 
| РР “94 


“При этом сумма квадратов внедиагональных элементов матрицы Ку 
п 5-1 
| а 
ия, 
21 


уменьшится на величину в так как Ррг-- Рот Вре-- г при лю- 
бом гр, 9. Отсюда следует, что при повторении подобных пово- 
ротов, аннулирующих каждый раз наибольший по модулю внедиа- 
гональный элемент матрицы К», сумма квадратов внедиагональных 
элементов убывает и имеет пределом 0. Это доказывает, что матри- 
ца Кх в результате неограниченной последовательности таких пово- 
ротов приводится к диагональной форме, а матрица, столбцами 
которой служат каждый раз орты новой системы координат, стре- 

“ мится к матрице Ф, столбцы которой представляют собой собствен- 
ные векторы матрицы Ку. 

Таким образом, метод последовательных поворотов дает воз- 
можность определить собственные значения и собственные векторы ‘ 
с любой степенью точности. 

Пример 14. Разложить по собственным векторам. случайный 
вектор Х с математическим ожиданием т, =0 и ковариационной 
матрицей = 

1,94 1,80 1,58 1,11 0,61 

1,80 1,90-1,63`0,87 0,48 
К; =| 1,58 1,63 1,74 0,94 0,59 |. 
о... Е 087-0,94 1,30. 0,36 

0,61 0,48 0,59 0,36 1,10 
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Применив метод. последовательных поворотов, по. стандартной 
подпрограмме Е1СЕМ на ЭВМ, приводим матрицу К, к виду *) 
6,05004 `0,012914 —0,0191523 0,08246 0,08294 - 
0,012914 — 0,900250 —0,08422 —0,012910 —0,0191331 
Кх=| 0,0101523 —0,06422 — 0,713409 —0,010575 —0,0°345 |. 
0,08246 —0,012910 —0,019575 0,260251 0,013568 
д_0,08294 0,0101331-—0,0°345 — 0,013668 [— 0,0560337- 


При этом получена следующая матрица единичных векторов и - 
зованной системы координат: 
0,550070 —0,0903568 —0,0148574 —0,556621 —0,615800 7 
0,532374 —0,247680 —0,360632 —0,195935 —0,697700 
’Ф=| 0,505474 —0,0373498. —0,174132 — 0,802011 —0,263734 
0,341577 0,00976712 0,909557 .0,0580490 —0,229269 
0,204499 0,963846 —0, 110029 —0,0720412 —0,109015 


Таким образом, собственные значения ‘`ковариационной матрицы К 
можно считать равными диагональным элементам матрицы К». Огра- 
ничиваясь четырьмя знаками после запятой, получим А, =6,0500, 

А =0,9002, А; =0,7134, А. =0,2603, А, = 0,0560, а за собственные век- 
торы можно принять соответствующие столбцы матрицы Ф. Ограничи-. 
ваясь при определении координат собственных векторов также че- 
тырьмя знаками после запятой, получим разложение случайного 
вектора Х по собственным векторам в виде 

Х =0,[ 0,5501 0,5324 0;5055 0,3416 0,2045] Т-- 

-- О. [0,0904 —0,2477 —0,0373 0,0098 0,9638] Т -+- 

-- Чз[—0,0149 —0,3606 —0,1741 0,9096 —0,1100]7-= _ 

-- И. [—0,5566 —0,1959 0,8020 0,0580 —0,0720]7 -|- 

-- О, [—0,6158 0,6977 —0,2637 0,2293 0,1090]7. 
Контрольное вычисление матрицы Кх по формуле (67) дает расхож-_ 
дение с исходной матрицей Кх, не превышающее двух единиц чет- 
вертого знака после запятой. Относительные ошибки при этом не. 
превосходят 0,04%. Это дает основание считать, что собственные 
значения и собственные векторы матрицы К, найдены с достаточной 
степенью точности. 


4.3. Каноническое разложение. Мы видим, что опре- 
деление собственных значений и собственных векторов о 
всегда связано с громоздкими вычислениями. Между тем. 
ковариационная матрица может быть приведена к диа- 
гональной форме бесчисленным множеством других спо- 
собов, если отказаться от требования унитарности пре: 
образования. 

№» Пусть [1,..., Г, —произвольные линейно независи- 
мые векторы. Определим случайные величины У, = {р Х® 


*) Показатель степени у нуля показывает число нулей ‘перед 
и значащей цифрой. Например, 0,08294 =0 ‚000000294. 
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Е ..., п). На основании (50) и (55) дисперсии и 

_ ковариации величин У,, ..., И, определяются‘ формулой 
. МУ У =ТЬК»|а (р, а=1, ..., п). 

Отсюда видно, что величины И., ..., И, не коррелиро- 


ваны тогда, и только тогда, когда ВК при 9=2Ер. 
Чтобы определить векторы [;,..., [„, удовлетворяю- 


щие условию [,К|,=0, 952р, возьмем произвольные 
линейно независимые векторы 5,, ..., &, и положим 


- 1 =8ь, РЕБЕНКЕ, А 
Тогда будем иметь {Гх, =РУТК,| = 1. Положим теперь 
= 8, Е Сыа[1 


и определим с»; из условия ВК,|, =0 или, что то же, 
Нд, =0. Так как 


т г т | 
Г х, = вх: Роса = ах. сыт, . 
ан о -@ 
то условие |. х, =0 дает с‚=— в.х,. Определив таким_ 
образом вектор - 
а т 
: [= 8, — (в х,) |, = 
дисперсию Р,=НК,|, величины У, =НХ° и вектор 
х.=0),'К,|р,, будем иметь 
т т - 
а вх, =руЬ К. =1 
и в силу эрмитовой симметрии ковариационной матрицы 
т ТКТ ТК р 
п х, =Рур Кр, =Вр К. =0. 
Продолжая этот процесс, определим последовательно 
векторы = г 
на Е Т т 
| — &1, ГЕ —=8;—— (83 Х1) | ы — (6: х,-1) в (68) 
случайные величины , ВЫ = 


ум, > (69) 
ИХ дисперсии РЕ — Е < 
= ВК ах А. ы у (70) 
и. векторы | 
] ыы 
` % = р. Кх[3- а. Е” (71) 


1ри этом векторы Г, их, будут удовлетворять условиям 
р^а= Хр = бра (Т. е. 6, =0 при 95=р и 6. = 1 при 
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} 


‚ где 


д=р), в силу которых величины у, и У. будут некор- 


релированными при 95-=р 
На основании (68) формуаы (69), (70) И (1) №6); 9 (® 
переписать в виде - 


ЕЕ зи 
Уз =д (х > ух), р ‚= КЕ» 
= . К Е (72) 


8—1 


КФК, — Ури = 


— ковариационная матрица случайного вектора 


$=ЁЕ 


Х,= №— У рх 
р=1 


Формулы (72) и (73) дают возможность последовательно 


отщеплять от вектора Х*°’ некоррелированные слагае-. 
мые У,х., каждое из которых не коррелировано с соот- 


ветствующим остатком Х;з1 (и всеми Е - 


остатками), не вычисляя векторов [.. 

Если ранг матрицы К, равен размерности простран- 
ства и, то мы получим таким путем п векторов [,, .. ., Е. 
и ни одна из величин Д., ..., О), не будет равной 0. 


При этом формула (7Г) определит п векторов х,, ..., х,. 


Если ранг г матрицы К, меньше ре про- 
странства п, то при некотором р<г-РТ получится 


К, = КФ, ==0, Р›,=0, и вектор-х, останется неопре- 
деленным. В таком. случае можно продолжить вычисле- 
ния по формулам (68) —(72)} приняв х,=0. Поступая 
так, мы найдем в результате п векторов Е 
отличных от нуля векторов х.. Изменив в случае необ- 
ходимости нумерацию векторов р; и х,, можем считать 
отличными от нуля векторы х,, ..., х‚,. Тогда векторам о 
„, ..., [,; будут соответствовать некоррелированные слу- 


‘чайные величины ИУ! =#НХ°, ..., У. =} Х® с отличными 
от нуля, ее а. р а дисперсии величин 
У =Н Хе, ..., У, =ИХ® будут ‘равны 0. Веледствие 
этого величины и .... И» равны 0 с вероятностью 1 


И координаты случайного век Е Х* связаны п—г ли-. 


-нейными зависимостями  }/.Х°= =}! Х*=0 в полном ^ 


соответствии с результатом 6 3. 
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Рассмотрим теперь случайный вектор 


Г. 
У=Х'— 2 Урхр 


Так как |1 Х° = р п Ая 
я почти Ань пр г п. та 
они Н АУ. 0 ен а 
НУ=НхХ У, =0 п.н. (8=74-1, ..., п). 


Таким образом, координаты вектора У связаны п линей- 
ными зависимостями. Вводя матрицу ЕЁ, столбцами ко- 
торой служат векторы Г,, 


Е=[Н ... ы 
можем написать эти зависимости в виде 
рту. 


Очевидно, что векторы |[,:, ..., [, Линейно независимы 
в силу линейной. независимости исходных векторов 
9, ..., 8. Поэтому определитель матрицы Ё не может 
быть равным 0. Следовательно, У =0 (почти наверное 
в случае, когда г<.п). Таким образом, 


= п. МУ, _ 24 


Это. равенство точное при г=и и выполняется с вероят- 
ностью | при гп. | 

Таким. образом, `мы” выразили случайный вектор Х 
через случайный вектор У с некоррелированными коор- 
динатами У., ..., И, (и, следовательно, с диагональной 
ковариационной матрицей). Сравнив (74) с (59) и при- 
менив формулу (60), ‘получаем соответствующее выражение 
для ковариационной матрицы случайного вектора Х: 


К Ур 2.4 хх >29) 


аи случайного вектора Х в виде линейной 
функции некоррелированных случайных величин (74) на- 
зывается его каноническим разложением. Соответствующее 
разложение (75) называется каноническим разложением 
ковариационной матрицы случайного вектора Х. Векто- 
ры х.,..., Хх, называются оон векторами ка- 
нонического разложения... 
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4.4. Различные формы канонического разложения. 
Из неоднозначности решения задачи приведения кова- 
риационной матрицы к диагональной форме (произволь- 
ности выбора исходных линейно независимых векторов 
5, ..., 8,) следует, что для любого случайного вектора 
с конечным моментом второго порядка существует бес- 
численное множество канонических разложений. 

Разложение по собственным векторам является одним 
‘из канонических разложений. Оно получается, если за 
исходные векторы 8:, ..., В, взять сопряженные соб- 


ственные векторы Ф,, ..., ф,. Тогда будем иметь в с. 
(61) и (62) | 


= Фр = = И, р, хр= Фр (р=1, м. п) 


и формулы (74) и (75) примут соответственно вид (66) 
и (67) (если г< 1, то ^,.:==...==А, =0 и соответственно 
несе О ШИ, 

Очевидно, что, вводя нетВУнЩие множители. 
в выражения случайных величин У, и обратные множи- 
тели в выражения: векторов х, , МОЖНО сделать дисперсии 
величин У,, ..., И, равными * любым заданным числам, 
например сделать все их равными 1, или добиться того, 
чтобы все векторы х,, ...,х,; были единичными. 
В последнем случае сумма дисперсий величин У,, ..., И, 
будет равна сумме дисперсий координат о А слу- 
чайного вектора Х, т. е. следу его ковариационной 
матрицы: 
< м. 
® р, о рХь= 2 ив = К 


р=1 


Действительно, из (75) в этом | случае следует, что 
ГА, == р Ави — =. р П[Хвь Г = тт 
-У р, У [в = Ур, 


В частности, для ао анЫХ по собственным. векторам 
всегда и ы 


р р: Ма 


— 
— 


(это следует также из известного факта, что при орто- 
гональном т след матрицы не а 
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4. 5. Простейший —- получения канонического 


разложения. Вычисления по формулам (68) —(72): будут 


проще, если принять за исходные векторы 5+, ...,:0,. 


единичные векторы осей координат с, е .. е,. В этом 
случае Е Е 


я В А 0], р ‚= = ат ет в ооу на 


и формулы (68). —(72) последовательно дают 


Я ‚55, | |, 
о т х:=1, 


$ —1 : 
а о Реки, (р == -Е 1, .. ыы п), (76) 


- А 5. ых 
Не =—х,„.— ея & а (р=1, и $—2), 


[9.415 — Х:- 1, 5} из, р 9 
- Щр=8-1, ..:, п;. 5=2,..., П). 


Если р. = 0, тов соответствии с общим методом полагаем 
Хн == О. 

Объем вычислений, необходимых для нахождения 
канонического ‘разложения случайного вектора по фор- 
мулам (76), в десятки, а в некоторых случаях в сотни 
_ раз меньше объема вычислений, необходимых для на- 
хождения собственных значений и собственных векторов 
_ случайного вектора. При этом далеко не всегда орахося 
вычислять векторы [,. 

‘Предоставляем Читателю ‘самостоятельно показать, 
что формулы (76) можно: получить, приняв за случайную 
величину У,-первую координату вектора Х°, У, =А\, а 
затем положив последовательно 

- Х; = ха -Е ...-Х,, и. Е: -У; 

_ и определив хх, ..., Х.. ;-1 Из условия некоррелирован- 
‘ности величины У, СУ,, -..., И. — 
| Пример 15. В условиях примера 14 вычисление по форму- 
_ лам (76) с точностью до четырех знаков после запятой дает канони- 
ческое разложение случайного вектора Х: 
Х= И, [1 0,9278 0,8144 0,5722 0,3144] Т-+. 

-НИ, [0 1 0,7135 —0,6955 —0,3740] Т-- ^ 

-Н И, [9 0 | 0,4464 0,4597] 7-1. 

Е —0 Е |, 


.. 
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° дисперсии случайных величин У1,..., И; 


р. =1,9400, р.=0, 2295, _Рз=0,3362, Ра =0,4867, Рь=0,7765, 
и векторы {1, ..., [ь: 


д = пособ, 

№=|[-—0,9278 10.0 017, | 
8=[-0,1525 —0,7135 1. 0 ОТ, 
4 =[ 0,8991 1,0140 —0,4464 1 0] 7, 
№ =[--0,3737 0,9474 —0,5677 0,2420 1]. 


Проверка путем вычисления матрицы К, `по формуле (75) дает мат- 
рицу, полностью совпадающую с ‘исходной матрицей К; примера 14 
с точностью до четырех знаков после запятой. 


= 


_ 4.6. Геометрический смысл канонического разложения. 
Заметим теперь, что так как уравнение 


: - ИТК ‚и = соп$4. 


_в случае матрицы К, с действительными элементами 


представляет собой уравнение эллипсоида (эллипса при 
п=2) в силу неотрицательной определенности К,, то 
задача нахождения канонического разложения действи- 
тельного случайного вектора равносильна геометрической 
_ задаче нахождения сопряженных относительно эллипсоида 
_ направлений и приведения его уравнения к канонической. 
форме (в общем случае в косоугольных координатах). 
В частном случае, приняв за оси координат оси эллип- 
соида, получаем прямоугольную систему координат, 
в которой уравнение эллипсоида имеет каноническую - 


форму. Этой системе координат соответствует разложение 


случайного вектора по собственным векторам. Из этой 
. геометрической интерпретации ясно, почему разложение _ 


случайного вектора на некоррелированные слагаемые 
называется каноническим. 

Эллипсоид с уравнением иТК;у1и = 1 (в случае матрицы 
К, с действительными элементами) РЕ называть эллип- 
соидом рассеивания. 

4.7. Построение случайного вектора. с данной кова- 
риационной матрицей. Докажем теперь утверждение $ 3. 
о том, что любая неотрицательно определенная эрмитова. 
матрица К может быть ковариационной. матрицей (а сле- 
довательно, и моментом второго ее а: 
_ вектора. 

_ № Пусть ЛЬ... А. — собственные значения, фл»... ф,— 
соответствующие" собственные векторы матрицы К, 


О, ..., О, произвольные некоррелированные случай- 
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ные величины с нулевыми математическими ожиданиями 


и дисперсиями, равными соответственно Л., ..., А, *). 
Рассмотрим случайный вектор . 
Х= Зи РФ 

ЕВ р ее матрица определяется формулой (67). 

_А так как ^,Ф,=Кф, и, следовательно, А „фр = ФК, то 


п Яя ыы 5 
К; = р ($ вв; К. 


Но. 
с 
п т ь : 
< * ; 
фрфр = [Ф; ... Фн| ы == ФФ» =: [, 
} р=1 $ 
Щ с" 
так как в силу (62) 
с 
:]: 28 ФФ... Ф%® 
Ф*Ф = |: |[Ф;... Ф,| = . =], 
Е. Се . ов 
Фи 


_и, следовательно, Ф*-=Ф-*. Таким образом, К; == К, что 
И доказывает утверждение $ 3. 


$ 5. Другие числовые характеристики случайных величин 


5.1. Моменты высших порядков. Моменты первого и 
второго порядка во многих случаях оказываются недо- 
статочными. Поэтому для более полной характеристики 

случайных величин вводят моменты высших порядков. При 


*) т можно взять случайные величины И ИИ 
(р=1, ..., п) и определить совместную плотность ведииЕ ь, | 
Е. г О формулой 

и Га "’ р ” 
(и, и, оо, би: ип) = (и, ил) а Ж ип)» 
где Н, +..› м— произвольные де плотности, удовлетворяю- 


щие условиям МИ,=0, РИр=Ар (р=1, ..., п). В случае, когда 
матрица К имеет ранг г < М, А, +1==...=А„==0 и случайные ве- 
личины И, +1, ..., О» с вероятностью 1 равны 0. В этом случае 


следует положить 
о фр(и', и") =6 (и') 6 (и") (р=и--1,..., п). 
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этом обычно ограничиваются действительными _величи- 
нами, что не Приволит к потере общности. (см. замеча- 
ние в $ 2.1). 

Моментом порядка г (г-м моментом) скалярной слу- 
чайной величины Х называется математическое ожида- 
ние ее г-й степени: 


а, = МХ". | (77) 


Центральным моментом порядка г случайной вели- 
чины Х называется г-й момент соответствующей центри- 
рованной случайной величины Х°= Х — т, 


М шу - | (28) 


Моментами порядка г случайного вектора Х называют- 


Е 
ся математические ожидания произведений Х*, ..., Хи", 


соответствующих всем целым неотрицательным И: р В», 
дающим в сумме г: 


би... =МХЬ... Хи, Ы-... Аг. (79) 


Центральными моментами порядка г случайного век- 
тора Х называются моменты порядка г соответствующего 
‘центрированного случайного вектора Х*=Х —т‚: 


нь в, М (ХО... (ХА), В... Ву. (80) 


Аналогично определяются ‘моменты относительно лю- 
бой данной точки. Моменты относительно начала коор- 
‘динат обычно называют начальными. 
`° Пользуясь формулой бинома Ньютона и свойствами 
математических ожиданий, можно выразить начальные 
моменты через центральные, и наоборот. В частности, 
для моментов скалярной случайной величины получаем 
соотношения 


с, = Х Стр", - в 
‚№ = ХИ? Сартр. (82) 


Очевидно, что все моменты нулевого порядка равны 1. 
Момент первого порядка скалярной случайной величины Х 
по определению представляет собой ее математическое 
ожидание, 0, =т,, а моменты первого порядка случай- 
ного вектора Х —математические ожидания его коорди- 
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нат. Все центральные моменты ` первогб ‘порядка равны 


нулю. Центральный момент второго порядка скалярной 
случайной величины Х представляет собой ее дисперсию, 
а центральные моменты второго порядка случайного век- 
тора Х —элементы его ковариационной матрицы. 

Кроме моментов. первого и второго порядков, на 
практике иногда пользуются моментами третьего и чет- 
_вертого ‘порядков. Моментами высших порядков поль- 
зуются редко. 


Центральный момент третьего порядка характеризует. 
несимметричность распределения относительно матема-. 


тического ожидания. Поэтому за характеристику несим- 
метричности распределения принимают безразмерную 
величину отношение третьего центрального момента 
к кубу среднего квадратического отклонения: 


№ — а о _ (83). 


Эта величина называется асимметрией или скоменностью 


к распределения случайной величины... 


Центральный момент четвертого порядка при данной 
дисперсии ` может служить характеристикой удельного 
веса больших отклонений от математического ожидания, 
а это в свою очередь определяет характер максимума 
в точке 1, симметричного распределения — «островершин- 
ность» или «плосковершинность» кривой распределения. 
Поэтому за характеристику поведения кривой распреде- 
ления вблизи точки т, принимают безразмерную величину 


=, (84) 
Иа ^ 


называемую` эксцессом распределения случайной вели-. 


чины Х. Смысл вычитания 3 из р./лз прояснится в $6. 


Пример 16. Для ›-распределения (пример 2.8) в силу (2.16) 
ИТ. =. 
ть тык ТЬИ 
Тео, ЕЕ = 


В частном случае для показательного распределения (и=0) Е Е: 
Пример 17. = В-распределения (пример 2.9). 


СЕ -—= 


Гр (урал. маи. ГФ-ФГФ-О 
О а 


Г (р) Г (рР--9- г) ` 
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. " 
ы ИРИ: 


Пример 18. В условиях примера 2.14. моменты времени $ 
работы системы после первого ремовта определяются формулой 
10 


о т <: 
| а, >= \ $Г Геи, ет (5) ] т бета феи 
` [6 . к 


0 - 


ЕН ЕВ Е (1-09). 


. 


Пример 19. В условиях Е 2.16 


21 : “ 


ар = и (иа— 0-Е ФЕ 1— ид] аи-Е (21 р». 
0 Ре 


5.2. Квантили. Моменты случайных величин удобны, 
когда все необходимые моменты (практически не выше 
четвертого порядка) существуют. Однако, как показывает 
пример 6, случайная величина может не иметь моментов. 
Поэтому для скалярных случайных величин иногда вво- 
дят другие числовые характеристики, связанные со зна- 
чениями` функции распределения. _ | 

За характеристику положения распределения на чис- 
ловой оси (среднее значение) принимают точку бл», в 
которой функция распределения переходит от значений, 
меньших 1/2, к значениям, большим 1/2: Е (Ё,/›) < 11/2, 


 Е(С,» РО) >1/2. Такая точка‘. /» называется медианой 


случайной величины. Медиана всегда существует и может. 


‘даже быть неоднозначно определенной. Действительно, 
‚функция распределения изменяется монотонно от 0 до 1. 


Поэтому всегда найдется такая точка (:,»,.в которой 
она скачком или’ непрерывно переходит через значе- 
ние 1/2. Если же существует интервал (а, В), на котором 
Е(х)=1/2, то любая точка этого и может о 
жить значением медианы. 
_ Для характеристики разброса значений и 
величины пользуются точками, в которых функция рас- 
пределения переходит через другие значения. Точка 6, 
В которой ‘функция распределения переходит от значе- 
ний, меньших р, к значениям, большим р, рЕ(0, 7 
называется квантилью порядка р: Ё (5) < р, Е (С›-+0) = 

Все квантили существуют у любой действительной т 
лярной: случайной величины, и некоторые из них могут 
быть определены неоднозначно. Это доказывается совер- 
шенно так же, как существование медианы. 
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Чаща всего пользуются, кроме медианы ея кванти- 
ЛЯМИ Са И б3/а., которые называются квартилями. Вели- 
чина ЕЁ = (53/4 —б,/)/2 при этом принимается за характе- 
ристику разброса значений случайной величины и 
называется срединным или вероятным отклонением или 
семиинтерквартильной широтой распределения случайной 
величины. Иногда пользуются квантилями 4&.. т» ое 
..., бов КОТОрые называются децилями. 

Легко видеть, что с помощью квантилей можно ха- 
рактеризовать распределение с любой степенью точности, 
если взять их достаточно много. 

Недостаток квантилей состоит в том, что для них не 
существует простых. формул типа (52) для перехода от, 
‘случайных величин к линейным функциям этих случай- 
ных величин, в частности к их суммам. 


$ 6. Одномерное нормальное распределение 


6.1. Моменты. Изучим теперь нормальное распреде- 
ление на числовой оси (пример 2.6). `В распределение 
определяется плотностью 


`_ 


с (х-а)3 


Р(х) = те ь о > 0. (85) 


На рис. 15 показана нормальная кривая распределе- 
ния, изображающая эту плотность. Эта кривая, как видно 
из (85), симметрична от- 
носительно. точки а, в 
которой плотность до- 
стигает максимума. Ко- 
эффициент при показа- 
тельной функции `опре- 
делен из условия равен- 
ства единице интеграла 
от плотности, распро- 
страненного на всю чис- 

р: ловую ось. 
Рис. 15. Чтобы вывести вы- 
ражение для этого ко- 
эффициента, обозначим его А. Тогда получим 


‘ 


[= 


1 р ‚ 
А \ ее Чх = 1. 
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Заменой переменных х=а- у интеграл в левой. 
части приводится к известному, интегралу Пуассона: 


А у. | е-"=1. 


Ода. принимая во внимание, что (приложение 2. 
\ на, | (86) 

— 5 
находим А=У с/9л. 
| Из симметрии нормальной кривой распределения. от- 
носительно точки х=а непосредственно следует, что 
математическое ожидание случайной величины Х, рас- 
пределенной по нормальному закону, равно параметру а 
в выражении нормальной плотности, т,=а. К этому же 
результату приводит и формальное вычисление т, по 


формуле (3): 


[* >) * < 
—- 1 
[6 р 64а)” 
= —- " 2 5554 \ 
т, бл \ хе Ах ы 
а 2 
=—— | е-Ё-- у 2 {е-Ё 4 =а 
Ул. а 
=. ы. 7 Вы а 


в силу формулы (86) и равенства нулю последнего ин- 
теграла как интеграла от нечетной функции в симмет- 
ричных относительно начала координат пределах. 

Таким. образом, параметр ‘а в выражении (85) одно- 
мерной нормальной плотности представляет собой мате- 
матическое ожидание `случайной величины. 

Центральные моменты нормально распределенной слу- 
чайной величины Х реа согласно (78) и (6). 
р - 

[22 


— 1 
С =— 2 (1-а) 
О р а г 
- © 
п 


1 9 \г/2 
Ул \с | 
| —© 
Отсюда видно, что все нечетные центральные момёнты 
нормально распределенной случайной величины равны 
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=_= нулю. ДлЯ центральных моментов четных порядков по- 
ЧЕМ с: : : : 


78 со 


—® 


Интегрируя по частям, имеем Е 
Е 
рут (=) т ну Е о 
0 
| 2р—1 /2 Р( ЕР 2р—1. 
ебу. 
“Таким образом, мы получили рекуррентную формулу 


5 2р—1 - 
5 ео р - г (88) 


ы 
:. - 


Положив здесь р=| и имея в виду, что все моменты 
нулевого порядка равны 1, находим дисперсию | а 
распределенной случайной величины Х: 


=. 


Таким образом, параметр с в выражении (85) нормаль- 

- Ной’ плотности представляет собой величину, ‘обратную 
‚ дисперсии случайной величины, с=Ор=рь". ^ 

Для получения`общей формулы для четных централь- 

ных моментов перепишем (88) в виде 


: | == (2р — 1) пы, =». 


Положив здесь последовательно р=2,3,...,^ и пере- 
_ множив полученные равенства почленно, получим после 
_ сокращений 


ив = 1-3... = Пи. = (89) 


Эта формула выражает все четные центральные моменты 

_ нормально распределенной случайной величины Х через 

ее дисперсию Р‚=1,. В частности, при Е =2 формула. 
(89) определябт центральный момент четвертого порядка 

№ =3и5. Подставив это выражение в (84), убеждаемся 

в том, что эксцесс нормального распределения рек 
нулю. | 

_ Нормальное распределение ‘широко распространено | 

_ в природе. В большинстве задач: практики распределение 


126. 


случайной величины можно считать нормальным. Поэтому 
нормальное распределение обычно принимается за эталон 
для сравнения распределений. Асимметрия и эксцесс 


вводятся Для того, чтобы характеризовать отклонение . 


распределения от нормального. Поэтому их определяют 


так, чтобы для нормального распределения они были. 


равны нулю. Этим и объясняется ввод слагаемого —3 
в определение (84) эксцесса. 

Учитывая, что а=1,, с=ДОу' =0ох;”, выражение (85) 
для одномерной нормальной плотности часто записывают 
в виде 


_ (х-т)? . аа м 


опуская для краткости индексы у математического ожи- 
дания т=жт,, пи РЕИЕ В =. и среднего квадрати- 
ческого отклонения 0==90, 


Формула (90) показывает, что нормальное распреде- 


ление полностью определяется моментами первого и вто- 
‚ рого порядков. Зная математическое ожидание и дисперсию 
нормально распределенной Случайно величины, можно 
найти ее плотность. 


6.2. Вероятность попадания в интервал. Выведем те- 


перь формулу. для вероятности попадания нормально 
распределенной НОЕ величины Х в данный ‚интер- 
вал (а, р). 


Подставив выражение (90) плотности в общую фор-_ 


мулу (2.10) для вероятности попадания в. интервал, 
получим 


| | И - 
рес <в-тук |" о У ах. 


После. замены переменных х=т- авг, 2=(х—т)/о будем 
иметь 


Вт? 

б з 
и. = УЕ ЦЕ. 
ат ь х т 
[2] 
В-т @-— т 
С 1 
Ре В По Е ОЕ НВ е-2*/?2 (2. 
У 2л , ия. | 
| 0 


90). 


Неопределенный интеграл от функции е-?”/? не выра- 
жается в элементарных функциях. Поэтому для вычис- 
ления интегралов в предыдущей формуле вводят новую 
функцию | 

и 
| е-2*/з 4. — (91) 


| 
Ф (и) = у 
0 


Для этой функции, называемой функцией Лапласа, состав- 
лены таблицы (приложение 3, табл. 1)*). При помощи 
функции Лапласа предыдущая формула для вероятности 
попадания нормально распределенной случайной вели- 
чины в интервал (%, В) может быть представлена в виде 


Ре<х<в=Ф ("= —Ф (==). (92) 
те 9х 9х 
_В этой формуле явно показано, что параметры ти с 
‘представляют собой соответственно математическое ожи- 
дание т, и среднее квадратическое отклонение о, слу- 
чайной величины Х **). 

Докажем теперь, что функция Лапласа  нечетная. 
Заменив в (91) и на —и, будем иметь 


—и 


Фи уз | 272/42. 
0 


_ Сделав Ам переменных 2=— $, получим | 


Е )=—- ела (и), 
0 


`, 
А, 


что и доказывает нечетность функции Ф (и). Вследствие 
этого в таблицах даются ее значения только для поло- 
жительных значений и: | 

6.3. Случай симметричного интервала. в: частном слу- 
чае, когда интервал (@, В) ` симметричен относитель- 
но математического ожидания, “= т,—в, В=т,-е, 


*) В дальнейшем при ссылках на таблицы всегда имеются в виду 
и приведенные в приложении -® 

**) В разных руководствах функцию Лапласа определяют по-. 
разному. Различные определения отличаются одно от другого мас- 
_ штабом аргумента, масштабом самой функции и пределами интеграла. 
. Соответственно изменяются и формулы для вероятности попадания. 
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формула (92) дает | - 
Р(т,.—=<Х«<т,- =) =Р(]ХЫ—т,|<®) = 
| А. `8 
- а 
Отсюда, принимая во внимание. нечетность функции Ф (и), 
_ получаем 


РХ—т,|< 9-2 (3). — 


Пример 20. Полагая в формуле» (93) последовательно р - 
20,, 30,., 49, и пользуясь таблицей функции Лапласа (приложе- 
ния 3, табл. 1), находим , 


Р(]Х—т,|< о.) =2Ф (1) = 0,683 = 0,68, 
Р(|Х-—т,|<20,)=2Ф (2) = 0,954 > 0,55, 
Р(|Х—т, | < 36.) =2Ф (3) = 0,997, 
Р(|Х—т, | < 40) =2 (4) = 0,999994. 


Таким образом, с вероятностью около 68% значения нормально рас- 
пределенной случайной величины отклоняются от ее математического 
‚ожидания не больше, чем на одно среднее квадратическое отклоне- 
ние, с вероятностью 95% — не больше чем на два средних квадра- 
тических отклонения и с вероятностью 99,7% — не больше чем на три 
средних квадратических отклонения. | 

Мы видим, что нормально распределенная случайная величина 
лишь с вероятностью 0,3% может отклониться от своего математи- 
ческого ожидания больше чем на три средних квадратических откло- 
нения. Иными словами, в среднем лишь ’в трех опытах из тысячи, ее 
отклонение от математического ожидания будет больше 39... Поэтому 
обычно считают областью практически возможных значений нор- 


мально распределенной случайной величины интервал. ма 


тх-Е 30х). 


Положив в (92) «= — ©, В=х и приняв во внима- 


ние, что Ф (со) =1/2, находим функцию распределения - 


нормально распределенной случайной величины: 


оо (Е) +. © 


Ох 


= 4. Квантили: Из симметрии нормального распреде- 
ления непосредственно следует, что медиана совпадает 


*) Для вычисления нормальной функции распределения и плот- 
ности в [94] служит программа МОТК. Пользуясь этой программой, 


можно вычислять на ЭВМ вероятности попадания: нормально рас- 


пределенных случайных величин В любые интервалы. | 
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с математическим ожиданием, я. =т,=а, и что т 

бл -вы ол = Вы где Е, —срединное отклонение 

величины Х. Для определения срединного отклонения ЕЁ, 

достаточно положить в формуле (94) ен ЕЕ. 

_и приравнять полученное выражение 3/4. Тогда получим 
Е 1 


уравнение Ф —^ ) ==. Корень этого уравнения обычно 
20 


обозначается рУ?2 (р=0,4769...). Таким образом, 


Е = 
= о и. откуда находим срединное отклонение 
х 


5 = ра о, А 0,6744... 


Глава 4 


ПРОЕКЦИИ СЛУЧАЙНЫХ ВЕКТОРОВ 
И ИХ РАСПРЕДЕЛЕНИЯ 


=> 


$ 1. Распределения проекций случайного вектора` 


1.1. Проекции вектора. Любой вектор х={х., ..., Хм 
в М. -мерном пространстве можно однозначно представить 
в, виде ее 


: 
== ь> Хьбь» (1) 
в=1 
где с;,..., ем —единичные векторы осей координат, 


И. 


_ Выберем какие-нибудь п из М векторов е;, ..., ем, 
о И ее Подпрост- 
ранством, образованным векторами е,,,...,е,‚„, называется 
множество всех векторов х М№-мерного пространства, у. 
которых отличны от нуля только координаты `Х,,, ..., Хил 
а остальные равны нулю. Два подпространства, одно из 
которых образовано каким-нибудь п из векторов е,,..., ем, 
а другое —всеми. оставшимися, называются взаимно до- 
полнительными. Например, подпространство, образован- 
ное векторами е., ...,е„, и подпространство, образованное 
векторами е„+1, ..., ех, взаимно дополнительны. 
Проекцией вектора х на подпространство, образован- 


ное векторами е,., ..., гп» называется вектор х ‚о ПоОЛу- 


ченный из х заменой всех его координат, кроме 
Хг.› 5 ее ЖУ нулями: ; 


=“ 


а - 
=1 


В частности, проекцией вектора х на ^-ю координатную 
ось —одномерное подпространство, образованное векто- 
ром е,, является вектор х»е,. Ввиду того, что проекция 
вектора х на К-ю координатную ось полностью’ опре- 
деляется одним числом х,, мы в дальнейшем не будем 
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Иными словами, будем полагать ау, = 


делать различия между проекцией вектора на 0 и 


‚соответству ющей его координатой, разумеется, если это 


не может вызвать путаницу. 
Пусть $1, ..., $3у-, —Оставшиеся числа из множества 


41,..., №} после выбора из него чисел г., ...,г,, рас- 
_ положенные в порядке возрастания, $, <... $м-„. Век- 
_ тор х’, определяемый формулой (2), и вектор 


: №М-—п 
Х" = ‚> х: „65, (3) 


представляют а. проекции вектора х на два взаимно 


дополнительных подпространства. Сумма этих. двух про- 
екций равна’ вектору х, Хх’ х”=х, так так сумма (3) 
содержит все слагаемые суммы (1), которые не входят 
в сумму (2), и не содержит ни одного слагаемого суммы (2). 

Если Х —М№-мерный случайный вектор, то_его про- 


екция на подпространство, образованное единичными 


векторами е,.,...,е,,, представляет собой п-мерный слу- 
чайный вектор, а его проекция на дополнительное под- 


_ пространство —(Л№ —п)-мерный случайный вектор. 


Так как изменением. нумерации векторов е,, ..., ем 


- (а. е, их порядка) всегда можно любые п из.них сде- 


лать п первыми, то в дальнейшем, рассматривая проек- 
цию /-мерного вектора на и-мерное подпространство, мы 
всегда будем считать, что это. Е Сто образо- 
вано единичными ‘векторами е,, ... Тогда дополни- 
тельное подпространство будет Е единичными 
векторами е„+:, ..., ем. При этом для простоты будем 
полагать № =п- т и обозначать (п-+ 71)-мерный вектор 
буквой 2, а его проекции на я-мерное и дополнительное 

т-мерное подпространства—*оответственно буквами х и у. 


п? 


2+1 = И, у ИХ, Л УИ Ут}. 
1.2. Функция распределения проекции случайного век- 


тора. Предположим, что известна функция распределе- 


ния Р(х, и) двумерного случайного вектора 2 с коорди- 


‘натами (проекциями на оси координат) Х, У, и поставим 


задачу определить распределения случайных величин Х. 
и У, рассматриваемых по отдельности. . 

|4 В силу определения (2.29) и соглашения $ 2.2 о запи- 
си неравенств между векторами 


Р(х, У=РЦХ < «НУ <). (4). 


в 


> 


ЕЕ 


Для нахождения фреквий распределения Е, (х) случай- 
ной величины Х достаточно заметить, что выполнение 
неравенства Х «< х равноценно совместному выполнению | 
этого неравенства и достоверного неравенства У < <. 
Поэтому 


Е, (©) =Р(Х<)ЕРЦХ У <=}. — 5) 
Из сравнения этой формулы с (4) видно, . что | 
Е, =Р(х, 9). 4 =) 


Совершенно так же определяется. функция > 
ления Г. (у) случайной величины У; 


Е, (у) = Е (о, 9). ое 


Таким образом, чтобы найти функцию распределения 
одной координаты двумерного случайного вектора, следует. 
положить переменную, соответствующую другой коорди- 
нате, равной осо. | 
1.3. Плотность проекции случайного вектора. Найдем 
телерь плотность случайной величины Х. 
№ Применив для вычисления вероятности в (5) фор- 
мулу (2.9) и изменив обозначение переменной Вер 
вания х на и, получим о 


Е, (х) = и Ам, уау= ( Ам, а аи. 


_х -_-© Е — < _< 


Сравнив эту формулу с (2.30), получаем следующую фор- 
_мулу для плотности |, (х) случайной величины Д: 


[*.-) 


(= ) 1 4.4 9 


_х 


Совершенно так же получаем формулу для плотности Ё, (и) 
случайной величины У: 


- 


БФ Г да (9) 


Таким образом, чтобы найти плотность одной коор- 
динаты двумерного случайного вектора, следует проинтег- 
рировать его плотность по переменной, соответствующей 
другой координате, 
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Формулы (6) —(9) справедливы. и в том случае, когда 

и/ У представляют собой любые случайные векторы. 
Если Х представляет собой п-мерный случайный вектор 
с координатами Х,, ..., А,„, а У —т-мерный случайный 
вектор с координатами У., ..., У», то |(х, и) является 
плотностью составного (п -|- т)-мерного случайного вектора 
с координатами м. Гра те. совмест: 
ной плотностью п--т случайных величин Ху,+..., Х»» 
У, ..., Ул; интеграл по переменной у в (8) следует 
_ понимать как т-кратный интеграл по координатам век-. 
‘тора у, а интеграл по переменной х в (9) —как п-крат- 
ный интеграл по координатам вектора х. 
| Таким образом, формулы (6) —(9) определяют распре- 
деления проекций любого случайного вектора на взаимно 
дополнительные подпространства. 

№ Формула (8) дает возможность доказать сделанное 
в $ 3.1 утверждение, что математическое ожидание проек- 
ции (в частности, одной координаты) случайного вектора 
можно вычислить по формуле (3.3), рассматривая эту. 
проекцию как ‘функцию случайного вектора. Действи- 
тельно, рассматривая величину Х как функцию случай- 
ного вектора {Х, У}, по формуле (3.3)’ получаем. 


Ф 


т, } 1 паху | хах би ак, 


или в силу (8) 


ту —= \ хр (х) ах. 
_То же получается по формуле (3.6). < : 


П ример Е вера двумерного нормально распределенно- 
го случайного вектора А формуа9й (2. Р примера 2:И 
при п=2: 


Уешен—% 


| 


Ё (х, и= мех Мер ры 


++ 2с1» (х— а) (и— 6-Е с» и—5}. 09) 
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.- 
; 
$ 


Для определения плотности проекции этого случайного вектора на 
ось’ х подставим выражение (10) в (8): 


И сн1с1 1 С сы м-в)" © | | - ь. 
Пикс ое = | \ ехр — 5 21—56) не 
— с1› (х—а) ии 

. | 

ии ечЬ та 1 В _ 61» 
_ Иан: а м (х-а)" Г 8 а гы (х-а) 1 е 
усы} и 
: - © ры . 


Воспользовавшись для вычисления интеграла формулой рилое з 
ние 2). 


(=) 1 
И ых 7 ‚2 к —__ — 12 а 
\ веба. (11) 
_ © | ; 
получаем 
р) р 
Е 5 2 611622 612 
Ее едиван х-а)2 
Н (х) -— У С11622 — 612 е 2 ` С22 в а) х (12) 


`брабнив. эту формулу с (3.30), видим, ‘что проекция Х двумерного 
нормально распределенного случайного вектора {Х, У} на ось х рас- 
пределена нормально, причем ее математическое ожидание равно а, 
ту; =а, а дисперсия определяется формулой 


р. (13) 
| 611622 — 612 
По симметрии заключаем, что проекция У вектора {Х, У} на ось у 


распределена нормально, причем ее математическое ожидание равно 6, 
ту Ь, а дисперсия определяется формулой 


С11 
Рея == с 
 Вычиблим еще ковариацию величин Х и У. Полагая для крат- 
кости и - у—ту=ур—6 =, по Формуле (3. а на- 
ходим 


р. 
Увы Со а сни евиоч син") 
ив | | иое ди до = 
“® — © 
ыы 65 1. = [*.) б1о 5 
‘У р РИ. о О и- 
С11С22 — С12 о т 
а | ие аи | @ "<? 4. 
2ЛсСоо 
) о ° 1 ева. ^] 
Применив для вычисления интеграла по : формулу 
‚ 60 пи -- #2 — 2 
З {е рек У 2 в 
> 060 т 


135 


которая легко выводится дифференцированием формулы (11) по па* 
‘раметру 1, получаем 


. ет стрыиеынт СЕ 1 С11С22 —С]о - 
С 211С2—@8 ———ц 
Кху=— а ие 2 24.. аа. 
‚ С22 2псо2 | 
—х 


Последний интеграл вместе с квадратным корнем перед ним согласно 
(3.16) и (12) представляет собой дисперсию Д, величины Х, которая 
определяется формулсй (13). Следовательно, 
- в. 
= С11622 — (12 


Формулы (13) — (15) показывают, что ковариационная матрица дву- 


мерного нормально распределенного случайного вектора и матрица:С. 


коэффициентов квадратичной’ формы в выражении (10) плотности 


являются взаимно обратными матрицами. В $ 4 мы увидим, что это 


справедливо и для случайного вектора. любой размерности. 
Пример 2. Предлагаем читателю самостоятельно найти плот- 


НОСТЬ проекции п-мерного нормально распределенного случайного | 


вектора на (п—1)-мерное подпространство» образованное какими-ни- 
будь п— 1 осями координат. 

Пример 3. Показать, что если двумерный вектор распреде- 
лен равномерно на прямоугольнике (пример 2.10), то его проекция 
распределена равномерно на соответствующей проекции этого прямо- 


угольника. Обобщить этот результат на равномерно распределенные _ 


‘векторы на параллелепипедах в любых конечномерных пространствах. 
Пример 4. Для случайного вектора, равномерно распределен- 
ного внутри эллипса (пример 2.10), формула (8) дает 


в =. 
а а ры 
[1 (х) = г о У р, : (Хх) =0 при [ха 
ик ине 
| : =2 +- и Е 


В данном случае, несмотря на равномерное распределенйе случай- 
‘ного вектора на плоскости, его координаты не распределены равно- 
мерно. Это и понятно: при каждом значении х вероятность попада- 
ния в бесконечно малый интервал длины Ах пропорциональна длине 
хорды эллипса, проходящей через точку х перпендикулярно оси х 
(рис. 16). Следовательно, и плотность величины Х пропорциональна 
длине этой хорды. Отсюда ясно, что кривая распределения вели- 
ЧИНЫ . на ераале Е а) представляет собой половину эллипса 
(рис. 17). | 


< 


Предлагаем читателю самостоятельно показать, что’ полученная 
формула определяет распределение проекции случайного вектора на 
ось х ив более сложном случае вектора, равномерно распределен- 
ного внутри эллипса, оси которого не совпадают с осями ноординат 


(пример 3.9). Найти для этого случая также распределение проекции` 


‚ вектора на ось и. 
Пример 5. Рассмотрим случай, когда величина У является 
определенной функцией случайной величины Х, У = =ф(Х). В этом 
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77: и? 


м 


случае, как было показано в п. 9.3.4, совместная плотность случай-. 
ных величин Х и У определяется формулой | 
1(х, )=Е() 8 (и—Ф (5). 
Подставив это выражение в (8), находим плотность величины Х} 
[ а - а 
= | 88-96) 4 =Е (9. 


Эта формула доказывает высказанное‘ в п. 2.3.4 утверждение, что 
множитель & (х) представляет собой плотность случайной величины Х. 


И это верно как в случае скалярных, так и‘в случае векторных _ 
величин Хи У. а | 
Точно так же по формуле (9) находим плотность величины Уф 


— 


[* 2) 


‚Би = \& (*)6 и—$(^)) ах. 


-® 


Для вычисления этого интеграла следует разбить область, где & (х) 20, 
на интервалы монотонности функции ф (х).и на каждом таком интер- 
вале сделать замену переменных Ц==ф (х), после чего останется вы- 
полнить интегрирование по \, пользуясь определением интеграла от 
б-функции (формула (5). приложения 1). Мы выполним здесь это вы- 


_ числение для частного случая примера 3.10, когда ф (х) =х?, в (х) = 
== (1/2а) Ка—|х|). В этом случае | 


0 ЕЙ. 


2а 


—а 0 


Ри | 9 (и—х?) ах == РЕ | \ 6—2 ах | 6—4 > 


Сделав замену переменных |=х?, будем иметь в первом интеграле 


х=— У 1, а во втором х=- У. В результате получим 
а? Е 
— о Е На те 
БШ | 80-т уу". 


27 чу 
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Таким образом, обе координаты случайного вектора являются в дан- 
ном случае непрерывными случайными величинами, несмотря на то . 
что его плотность содержит множителем д-функцию. Это иллюстри- 
рует сказанное в п. 2.3.4. 

Пример 6. В--елучае вырожденного распределения в п-мерном 
пространстве, подставив выражение (2.28) плотности в (8) с заменой 
хи соответственно на х’иИ х”, найдем плотность случайного век- 
тора Х’ (проекции вектора Х на подпространство, образованное т 
первыми единичными векторами е1,..., ем): 

ы 
Ь (х’) = \ & (х’) 6 (х”— А (х'— с’) — с”) ах" = в (х'), 


г ве: 


$ 2. Условные распределения проекций 
| случайного вектора 


_2.1. Условная плотность проекции случайного вектора. 
В задачах практики, имея дело со случайными векто- 
рами, часто приходится определять распределение одних 
координат случайного вектора при известных значениях | 
других —так называемые условные распределения. С такой . 
задачей мы встречаемся, например, когда интересующая 
нас случайная величина Х непосредственно не наблю- 
даема, но может наблюдаться некоторая другая вели- 
‚ чина У. Например, при любом: измерении мы наблюдаем 
_не саму измеряемую величину Х, а лишь результат изме- 
рения У, представляющий собой сумму измеряемой вели- 
чины И ошибки измерения. В таких ‘случаях, определив 
из опыта значение у величины У, приходится искать. 
соответствующее условное распределение величины Х. 
Основная трудность при нахождении таких условных 
распределений состоит в том, что событие В вида У =, 
относительно которого приходится определять условные 
‚ вероятности, имеет вероятность, равную нулю, в то время 
как определение (1.16) условной. вероятности применимо 
только в случае, когда Р(В)==0. 

Рассмотрим сначала непрерывный двумерный случай- 
ный вектор с плотностью ] (х, и). В этом случае Р (У=и)=0. 
Поэтому формула ` (1.16) не определяет условные вероят- 
ности событий при условии У =. В то же время интуи- 
_тивно ясно, что условная плотность величины Х при 
данном у существует и пропорциональна ‘плотности 
[(х, и) при данном фиксированном значении и (условная 
кривая распределения величины Х при данном и изобра- 
жается в некотором масштабе соответствующим сечением 
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поверхности распределения г=}(х, и)). Из этих сообра- 
жений, принимая во внимание свойство (2.11) плотности 
и формулу (9), получаем следующее выражение условной 
плотности величины Х при п АНеНИЯ увеличины У: 


= у _ в). 
ве. __ 


Аналогично находим условную плотность величины У 
при данном значении х величины Х: 


И. 


В Чтобы дать строгое определение условного. распре-_ 
деления одной координаты случайного вектора при данном 
значении другой, найдем сначала условное распределе- 
ние величины Х относительно события у, < У < ц,, имею- . 
щего отличную от нуля вероятность. По формуле (1.16) 
находим условную функцию распределения: | 


Р ({Х < х}{ии<У<и} 
ны =Р << к ро 


Применив для вычисления т формулы (2. 7 
и (2. 10), получим о 
* Иа 
\ ам \ (м, о) аз | 
Ру, уз (х) === - ` < (18) а 


У2 


ее +404 


И 


Положим теперь и =у, у, =у-- Ау и определим услов- 
ное распределение случайной величины Х при данном зна- 
чении у величины У, имеющем нулевую вероятность, как‘ 
предел условного распределения Х относительно события 
у<У < у- Ау при Ау 0. 

№ Чтобы осуществить ре. переход, перепи- 
шем формулу (18) в виде — 

Уз х 


\ 4 ли, да 
р (н.о (19) 
Двоо 
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Если интеграл 
: | С 
К Ем, одаи. 


при любом х и функция |, (9) —непрерывные функции о 


— в точке о=у, то они непрерывны также и в некоторой 


окрестности точки у. Поэтому, положив и, = и, у, = и--Ау, 

можно при достаточно малом Ау применить к интегра- 
лам в (19) теорему ‘о среднем значении. В результате 
будем иметь 


еда 
ры (х) = А, , пе(, 9+ Ау). 


- ак как \, 1’ -—+иу при Ау-+0, то правая часть полу- ° 


ченного равенства стремится к определенному пределу 
при Ау—0, если [, (у) =2 0. Следовательно, в этом слу- 
чае существует и предел левой части, который .по опре- 


делению представляет собой условную функцию распре-. 


деления РГ, (х| у) и величины Х при данном зна- 


чении у величины У. Таким образом, получаем 
Е \ 7 (и, у) аи | 
и ель (= НЕ 


_Сравнив правую часть с. выражением (2.30) функции рас- 
пределения через плотность, получаем формулу (16) для 
‘условной плотности [,(х|у) величины Х при У=у. 
_ Таким образом, мы доказали, что при всех значениях у, 
‚ при которых }, (у): и интеграл в (20) при любом х являются 
_ непрерывными функциями у и |. (%)5=0, условная плот- 
ность величины Х при” данном значении у величины У 
определяется формулой (16). При [, (у) =0 условное рас- 
_ пределение величины Х при У = у остается неопределен- 
_ным (не существует). 
Отметим, что условия, при которых была выведена 
формула (20), могут выполняться и в том случае, когда 
Р(х, у) содержит 6-функции (примеры 5 и 6). 

№ Для определения условного распределения вели- 
чины Х при значении у, величины У, имеющем отлич- 
ную от нуля вероятность р., заметим, что событие У = у, 
(попадание в прямую у=у,) может иметь отличную от 
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нуля вероятность только в том случае, когда }(х, и) 
кт слагаемое в, (х) 6 (у—у.). Положив в (19) = Ч 
=и,-- Ау, ыы иметь Е любом Дду> о 


—: 2х (и) аи--0 (№) 


Е из+Ау (Х) = ТЕТ . 


В пределе при Лу—0 получаем для условной функции 


распределения Р, (х| у.) и. условной плотности Ви.) 


формулы 


Е, («| 4.) =5- — во во, 2). 


Эти формулы справедливы и в том случае, когда 5; (9 


содержит линейную комбинацию 6б-функций. < 


Очевидно, что все наши рассуждения справедливы. 


и в том случае, когда Х и У представляют собой слу- 
чайные векторы. Поэтому формулы (16) и (21) опреде- 
ляют условное распределение проекции случайного век- 
тора на любое подпространство при данном значении его 
проекции на дополнительное подпространство. 


Пример 7. В условиях примера 1, подставив в (16) выраже- 
ние (10) плотности [(х, у} и выражение, аналогичное (12), плотно- 


сти - (у), находим условную плотность проекции двумерного нор-, 


мально распределенного случайного: ыы аа на ось х при данном 
значении его проеии на ось у: 


а 
Ву =у 5-е (22) 


Сравнив эту формулу с (3.90), видим, что условное распределение 
величины Х при данном значении у величины У нормально, причем 
математическое ожидание и дисперсия Х равны соответственно 
ыы С ` 1 + 
пав) и. 
С б11 

По ‘симметрии заключаем, что условное распределение величины У 
при данном значении х величины Х: нормально и при этом матема- 
тическое ожидание и дисперсия у равны соответственно 


рН и 
С22. С22 
Пример 8. Используя резульгаты примера 2, найти условное 
‚распределение одной координаты “п-мерного нормально распределен- 
ного случайного вектора при данных значениях всех остальных коор- 
‘динат (т. е. при данном значении проекции. случайного вектора на 


(п— 1)-мерное подпространство, образованное остальными осями коор- 


динат), 


=>: < 
` 


Е 


Та 


»- 


Пр имер 9. В условиях примера 4 


К ЬЙ 
Ве = уе 1(‹ Ро) 


“Таким образом, условное распределение величины Х в данном слу- 


чае равномерно в интервале |х| < аУ Г у?/6?, длина которого за-^ 
` висит от и. Мы видели в примере 4, что ео распределению 
величины Х в этом случае не является равномерным. 

Читатель легко самостоятельно убедится в том, что и в более 
сложном примере 3.9 условные распределения проекций случайного 
вектора равномерны на соотвегствующих интервалах. 


Пример 10. В условиях примера 5 очевидно, что условное 
распределение величины У при данном значении х величины Х опре- - 


деляется плотностью 
(19 =6 (и—Ф (4). 


Действительно, при данном х величина У с вероятностью 1 прини- 
мает единственное возможное значение ф (х). То же самое дает на 
основании результата примера 5 и формула (17). В частности, она 
справедлива в случае Вы рочнОЕО распределения (2.28). 


2.2. Теорема умножения плотностей. Формулы (16) 
и (17) можно переписать в виде ° 


Г (х, = =ЬФЬО. (23) 


Эта формула выражает теорему умножения плотностей: 
‘совместная плотность двух случайных величин (скалярных 
или векторных) равна плотности одной из них, умножен- 
ной на условную плотность другой. 

_ 1 Заметим, что формула (23) верна и в том случае, 
когда [, (х), или |. (и), или они обе содержат 6- функции. 
Действительно, если, = 


Р (у) =А, (у) > р.б (у—и,), 


БЕ Ва + Хр.) 8 9—9,). 
(24) 


В сумме мы заменили | У) функцией }, (х|у,) ввиду 
того, что $ ()6 (и—у,) =Ф(у.) 8 (9 —9,) для любой функ- 
ции ф(у), поскольку 9 (у—1,)=0 при всех у=-у,. Так 
как при всех у=2у., ..., Им суммы в обеих последних 
формулах равны нулю и, следовательно, [, (и) =й, (у), то 
‚ вследствие (16) правая часть формулы (24) равна ] (х, у) 
при всех у5-у,, ..., Ум. а же в (24) на основании 
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(21) представляет собой как раз ту линейную комбинацию 
б-функций, которую следует ввести в функцию | (х, и), 
чтобы учесть отличные от нуля вероятности р;, ..., Рм 
значений у.,..., Ил случайной величины У. Таким обра-. 
зом, правая часть формулы =. совпадает с | (х, у) при 
всех хи. 4“ 

2.3. Завчсимые и независимые случайные величины. 
Случайные величины Х и У называются независимыми, 
если события ХЕА и УЕВ независимы для любых мно- 
жеств А и В, для которых определены соответствующие 
вероятности. Случайные величины Х и У называются“ 
зависимыми, если существуют множества А и В, для кото- 
рых события ХЕА и УЕВ зависимы. Эти определения : 
относятся как к скалярным; так и к р случай- 
ным величинам. 

Из этих определений и условий независимости собы- 
тий $5 1.6 следует, что случайные величины Х иУ неза- 
висимы тогда и только тогда, когда никакая информация 
об одной из них не изменяет распределение другой. 

№» Если случайные величины Х и У независимы, то со- 
гласно определению события Х «хи У < у независимы 
при любых х и у. Следовательно, в силу теоремы умно-. 
жения вероятностей независимых событий (1.21) 


Р(х< У <) -=Р <РЦ <, 


ИЛИ 
Е (, ЕЕ: (х) Е, (4). < _ (25) 


Таким образом, совместная функция распределения. неза- 
висимых случайных величин равна произведению их фе 
ний распределения. 

> На основании соотношений (2.32) и (2. 31) между _ 
функциями распределения и плотностями из (25) следует, 


что 
Ё(х, )=Н@Ь (9) (26) 


(в случае векторных Х и У для получения соотношения _ 
(26) формулу (25) следует продифференцировать по одному 
разу по каждой координате вектора У). < 
Таким образом, каждое из условий (25) и (26) необхо- 
димо для независимости случайных величин Х и У. ь 
№» Покажем, что (26) и достаточно. Для этого вычис- 
_лим вероятность пересечения событий ХЕА иУЕВ, пред- 
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полагая, что выполнено условие (26).  Подставив выраже- | 


ние (96) в формулу (2.9), получаем *) 
Р(ХЕАНУЕВ)=Р(Х, УвАХВ)=— 
=) 4х \4 г) р (ФЬ (у 4у= 


` 


= 94 ) (ау, 


или, вследствие (2. о, - 
Р({ХЕА}{УЕВ}) =Р(ХЕА)Р(УЕВ) 


при. ‘любых Аи В. Отсюда следует, что события `ХЕА 
_ и УЕВ независимы при любых А и В, если выполнено 
(26), что и доказывает достаточность условия (26) для 
независимости величин Х и У. Условие (25), очевидно, 
также достаточно, так как из (25) следует и (26). < 
| Таким образом, каждое из условий (25) и (26) необхо- 

димо и достаточно для независимости сАбчайНых величин 
я В 


случайных величин Х и У необходимо и достаточно выпол- 


_ нение условий 


„Аи =Ь <«, Би =Ь. (27) 


Очевидно, что оба эти условия необходимы, но достаточно 


_ выполнения одного из них, так как в силу (22) каждое из 


тождеств (27) является следствием другого. 


Пример 11. В примерах 1 и 7 случайные величины Хи У 
зависимы, если С1› 72 0, и независимы, если с1› =0; Из (15) следует, 
_ что величины Х и У коррелированы, если с1о 72 0, и не коррелиро- 
_ ваны, если с1›.=0. Таким образом, координаты нормально распреде- 

‚ ленного двумерного случайного вектора зависимы, если они коррели- 
рованы, и независимы, если они не коррелированы. 

Пр имер 12. В примере 3 проекции случайного вектора неза- 
висимы. 

Пример 13. В примерах 4-и 9 проекции случайного вектора 
‚ зависимы, несмотря на то что, как мы видели в примере 3.8, -они 
не коррелированы. В более сложном случае примера 3.9 проекции 
случайного вектора зависимы и в то же время коррелированы. 


Пример 14. В примере 5 проекции случайного вектора Х и У. 
зависимы. Это еледует из формального сравнения }» (у) и р» (и|х),. 


полученных в "Вас 5 и 10. При этом Х и У в общем случае 
коррелированы. частных случаях они могут быть и некоррелиро- 


*) АХВ представляет собой прямое произведение множеств Аи 


_ В, т.е. множество упорядоченных пар {х, у} таких, что хЕА, иЕВ. 
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ыы В 


_Сравнив (26) с (22), заключаем, что для независимости 


` 
ПРОВЕРИВ ОР РИТАРРРИЕРУРССОТЕСТРЕТ РЕТРО 


ванными. Так, в примере 3. 10 ив боле общем ты четных фу ЕЕ 
ций 2(х) и Ф(х) величины Х и У не коррелированы. В случае чет- = 
ной &(х) и нечетной ф (х) величины Х и У коррелированы. = 


Случайные величины Х;, ..., Х„ называются незави-^ — 
симыми, если события Х,ЕА, (Е =1,..., п) независимы. 
для любых множеств 4., ..., А„, для которых определены | 
соответствующие вероятности. Случайные величины 
Х., .... Х„ называются зависимыми, если существуют = 
_ множества А,, ..., А„, для которых события Х, ЕД, (Е =_ 

=1,...., 7) зависимы. Эти определения относятся какк ._ 
скалярным, так и к векторным величинам Ху, ..., А. о 

Так же как в случае двух ‘величин, из этого опреде- 
ления следует, что для независимости Х., ..., Х„ необхо- 
димо и достаточно, чтобы их совместная функция распре- 
деления (плотность, если она существует) ‘была равна 

произведению их функций распределения (соответственно 
плотностей). 

Попарной независимости величин Х., ..., Е недо- 
статочно для того, чтобы они были независимыми. 

Пример 15. о Х: и Х,— независимые случайные вели-. 
чины, каждая из которых имеет два возможных значения Ои 1 све- ( 
роятностями 1/2, Хз=Х:Х,- (1-Х, (—Х.). Величина Хз также 
имеет ‘два возможных значения 0 и 1, вероятности которых равны 
1/2, так как Р (Хз=0) =Р(Х.=0Р(Х,=П-Р(Х.=ПР(Х,=0= 
= 1/2, Р (Хз=1) =1—Р (Хз=0) = 1/2. Величины Ху}, Е. и Хз попарно _ 
независимы, так как 


Р (Х1=0, Аз:-=0)==Р они =Р(Х1=0 Р(Х,=0), : 


=Р (Х1=0) Р (Х.=1) 


Р(Ху-Ь, Хы-О)=Р (Х1=ПР(Х,=0=-р=Р (Хи Р (Ха), = 


РОБ ХВ РЖ ПР (Х.=П=== 


-- =--- |. 


=Р(Х,=ЮР(Х:=1, ^^. 


и аналогичные равенства. справедливы для Хо, Хз. Однако | 
Р(Х,=0, Х,=0, Х.=0)=0 РЕ РО 
Следовательно, величины Х!, Х» и Хз зависимы. _ : - 
Пример 16. Трехмерный случайный вектор Х = {Х1, Х,, КЕ 


`’ равномерно ры на поверхности тетраэдра с вершинами 
В не (0,0, 0), (0,1, 1), (1,0, |), И, 0), ‘имеет плотность 


НОУ о) (х1) 14) (х>) т (хз) [6 (жа хо— хз) -- 
о а (хз хв— м1) --6 (ера, 
145 


} ` 


где 1,,)(х)— индикатор интервала (0,1). Любая координата этого 
вектора распределена равномерно в интервале (0, 1), а его проекция ^ 
_ на. любую координатную ` плоскость распределена равномерно на 
квадрате (0, 1) Х (0, 1) = (0, 1)?. Следовательно, величины Х1, Хои Хз 
попарно независимы. В то же время они зависимы, так как в про- 
тивном случае распределение вектора Х было бы равномерным в кубе 
КО; Е). 
_ Пример 17. Плотность п-мерного случайного вектора Х опре- 
деляется формулой = | 


Р<)=р (х1).. [т (х,)- а (х), 


где { (х), ..., [и (Хх) — любые плотности (возможно, содержащие линей- 
ные комбинации б-функций), а с (х) — любая функция, удовлетворяю- 
щая условиям: | 


1) 1 (х) |= р ре. Ти ПРИ. Всех ас 4, 


2) ( &(4) 4хь = 0 при всех х, Г (#1, ..., п). 


_х® 
Этим условиям удовлетворяет, например, функция 
& (х) с" 4 (х1) .. бп (хп), 


где д! (х), ..., &,„ (х) — любые нечетные функции, модули которых 
при всех х меньше соответствующих функций [\ (х), ..., [ (х). 
Интегрируя плотность ] (х) по какой-нибудь одной координате, убеж- 
даемся в том, что любые п—1 из координат вектора Х независимы, 
° причем {»(хь) есть плотность координаты Хь» (&=1,..., п). Однако 


° все и координат вектора. Х зависимы, если в (х) =Е0.. 


Подобных примеров можно’ привести много. В частности, этот 
_ пример легко распространяется на векторные величины Х1, ..., Хи. | 


2.4. Независимые величины не коррелированы. Дока- 
жем, что независимые случайные величины всегда не корре- 
лированы. — | 

№ Подставив выражение (26) совместной плотности 
независимых случайных величин Х и У вформулу (3.22) 
для ковариации, получаем 


= ) } &—т,) (у—ту) р Я Ь фах = 
в отр дах } ут) Ч. 

Но и Е. 

| _\ (—т, фа = ) Г, (у)ау —т, ) .(/)4у=0. — | 
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Следовательно, #,,=0, что и ее наше утверж-_ 
дение. < 

_ Зависимые случайные величины, как показывают при-. 
меры 11—14, могут быть коррелированными, а мов 
быть и некоррелированными. 

2.5. Независимость функций независимых. величин. 
Докажем, что если величины Ху, ..., А», независимы, то» › 
и любые их финюциы я = 
висимы. . | 

№» Действительно, в этом случае 


Р( П {$ (ХО Евы} | 
кет Е 
мы Ро. д Ф.Ф =— 
ФЕВ: — Фи юеВн не 
==. \ а И Р(ф‚ (Х») ЕВ, 
(ея 


для любых множеств В,, ..., В, В соответствующих про- 
странствах. $ _ 
2.6. Теорема. умножения математических ожиданий. 

` В п. 3.2.4 была выведена формула (3.30), связывающая 

математические ожидания, ковариацию и смешанный на- 
чальный момент второго порядка двух случайных вели- | 
чин. В случае действительных величин Х и У эта формула 
имеет вид НИ 


ху = в, - т.ту. 


Отсюда следует, что если случайные величины Х и У не 
коррелированы (Ё =0), то ф,,=т,„т,, или 


МХУ = МХ.МУ. _ 


Таким образом, математическое ожидание произведения 
двух некоррелированных действительных случайных вели-: 
чин равно произведению их математических ожиданий. 
Эта теорема умножения математических ожиданий спра- 
ведлива, в частности, для независимых случайных вели- 
чин, Так как независимые величины, как было показано 
в п. 2.4, всегда не коррелированы. 

Естественно возникает желание обобщить эту теорему 
на любое число величин. Однако некоррелированности 
и даже попарной независимости сы величин для 
этого уже недостаточно. 


ху 
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| Пример 18. В условиях примера 18 величины Х1, Хи Хз 
- попарно независимы, а следовательно, и не коррелированы. Их про- 
‚изведение имеет два возможных значения 0 и |, причем значение | 
_ достигается только п ти Х: =Х. =1, а вероятность этого’ равна 1/4.‘ 
Следовательно, МХ!Х.Хз =1/4. В то же время МХ, = МХ, = МХ. = 
== 1/2 и МХ,.МХ.. МХ, =118. Следовательно, теорема умножения 
математических ожиданий в данном случае не справедлива. 


> Если случайные величины Х,, ..., Х„ независимы, 
_то для любых функций ф, (Х\), ..., Ф, (Х,) 


Мф, (Х:) 9. (Х,).. ‘Ч ва 


=... д... 


-_- © - © 


сд, 6. о) вх. х„= 


в 


= \х (+) Г, (<) ах, ( ф, (х,) Ь (х.) ах, ... 


фа) Ко) ах, = Ме, (Хо) Ме, (Хо) .--МФ,(Х,), 


причем математическое ожидание в левой части сущест- 
вует тогда и только тогда, когда существуют все матема- 
тические ожидания в правой части. < 

Таким образом, если случайные величины Ху, ..., Ап 
независимы, то математическое ожидание произведения 
любых п функций этих величин, каждая из которых зави- 
сит только от одной из величин Х.!,..., А„, равно произ- 
ведению математических ожиданий этих функций: 


Мф, (Х1) $. (Х,)..-Ф„(Х,)= 
= Мф; (Х,) Мф, (Х.)...Мф,(Х,„). (29) 


Эта теорема справедлива как для скалярных, так и для 
векторных величин Х;, ..., А, и для произвольных 
комплекснозначных функций ф., ..., Ф,. | 
В частном случае действительных величин Ху, ..., Ав 
можно взять ф, (Х.) =Хь, ..., Ф,(Х,) =Х,, и мы полу- 
чаем обобщение теоремы умножения математических ожи- 
даний на любое число случайных величин: математиче- 
ское ожидание произведения независимых действительных 
случайных величин равно произведению их математических 
ожиданий. 
Так как комплексную случайную величину можно 
рассматривать как функцию двумерного случайного век- 
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тора, координатами которого служат ее действительная - 


и мнимая части, то из (29) следует, что теорема умноже- 


ния математических ожиданий справедлива и для неза-. 


висимых комплексных случайных величин. 


Пример 19. Показать, что теорема умножения математических 


ожиданий справедлива для действительных случайных величин Ху, ... 


..’ д если все их смешанные центральные моменты до ПОВЕЛ в 


‚ включительно равны 0, 


-5 3. Условные числовые характеристики 


3. 1. Условное математическое ожидание. Все введенные 
в главе 3 числовые характеристики можно определить и 
для условных распределений. 

В частности, из формулы (3.3) вытекает определение 


условного математического ожидания данной функции — 
ф(У) случайной величины У при данном значении слу. т. 


чайной величины Х: 


> 


[= 


и ФИ (Хау, _ (30) 


где {, (и| х) —условная плотность величины У при данном 
значении х величины Х. Эта формула определяет услов- 


ное математическое ожидание как в случае скалярных, 


так и в случае векторных величин А, Уи (=5$(У). 

‚ Из формулы (30) как частный случай вытекает фор- 
мула для ОЕ математического ожидания случайной 
величины У при данном значении х величины ДХ: 


[2 


М [У [х] = ра _ (31) 


3.2. Регрессия. Обозначение [,(у|х) применяется для 
плотности случайной величины У, зависящей от пара- 
метра х, и в том случае, ` когда х не является значением 
некоторой случайной величины Х. Формулы (30) и (31) 
в этом случае определяют математические ожидания вели- 
чин Уи Ф(У) как функции параметра х. 

Математическое ожидание случайной величины У как 
функция параметра х, от которого зависит распределе- 
‚ние У, называется ‚регрессией У на х. В. частном случае, 
когда параметр х представляет собой возможное значение 
некоторой случайной величины Х, регрессия У на х пред- 
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р 


ставляет собой условное. математическое ожидание вели- 
чины У при Х==Х. | 

_График функции у= м [У] в случае скалярных х 
и У называется кривой регрессии У на х. 2 

Если параметр х представляет собой значение случай- 
° ной величины Х, то, кроме регрессии У на х, можно 
определить также регрессию Х на у. 3 

Определив условное математическое ожидание, можно. 
определить и все условные моменты случайных величин. 
Ясно, что все условные характеристики случайных вели- 
чин при данном значении х случайной величины Х в об- 
щем случае являются определенными функциями х. По- 
_ этому их можно рассматривать до опыта как функции 
случайной величины Х. В этом случае они сами будут 
случайными величинами. | 

‘Условное математическое ожидание случайной вели- 
чины (=ф(У), рассматриваемое как функция случайной 
величины Х, М[ф(У)|Х|, называется условным матема- 
тическим ожиданием случайной величины 2 =ф (У) отно- 
сительно Х. 

Так как условные математические ожидания и другие 
условные моменты случайных величин относительно слу- 
чайной величины Х сами являются случайными величи- 
нами, то для них, в свою очередь, можно определить 
числовые характеристики, в частности математические 

ожидания и моменты. — 


Пример 20. В о 3.9, 4и9 _ 
=—ы—_—^ и —сх| < ре 
1» (912) а Е Аа [у— сх | 


и [2 (и|х) = 0 при всех других значениях у. Поэтому 
+ сх+Ь У 1 х2/ а? 


МУ = 
‚< 26 25 Ут ле аа 
сх-БУт-—х2/аз 
Таким образом, условное математическое ожидание У при Х=х 
в данном случае равно сх. 
Условная дисперсия величины У при Х =х, в соответствии с ре- 
зультатом примера 3.3, определяется формулой 


уау=сх. 


о 


> 
РУ = 53 


(а? —х?). 


< 


Предлагаем читателю самостоятельно доказать, что в этом случае 


ое 55 ера 
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Пример 91. В случае двумерного нормального распределения 
(примеры | и 7) условное математическое ожидание и условная дис- 
персия величины У ее: определяются формулами 

Те 

М [У | Я=5— 1 (ха), Р[У[] =-— 

С22 С22 
“Таким образом, уравнение кривой регрессии У на х имеет в данном 
случае вид 
уе (18 (ха); 
| Па 
`Аналогично находим уравнение кривой регрессии Х на и: 


ив 05) 
Са 


Легко видеть, что кривая регрессии У на х представляет собой диа- 
метр эллипса рассеивания, сопряженный с направлением оси у, а 
кривая регрессии Х на у— диаметр, сопряженный с направлением 
оси Хх. 


3.3. Формула полного математического ожидания. 
Выведем одну ‘часто применяемую в теории вероятностей 


формулу. 


№ Применив Е (3.3) для вычисления матема- 
тического ожидания функции Ф(Х, У) случайного век- 


тора 1{Х,.У}, можем написать 


# 


Мех, = | о дах, | (2) 


где |(х, у) —плотность случайного вектора {Х, У}. Под- 
ставив сюда выражение ] (х, и) из (23): 


(ху) = й (х) , (их), 


будем иметь 
| 


Му(Х, У) = | ф(х, 1.141, 94%. о - 


-- © 


Но интеграл в фигурных скобках представляет собой 


условное математическое ожидание случайной величины 


ф(х, У) при данном значении х величины Х: 


|") 


о, иво = Ма, У. 


-. © 


15 


_ бледовательно, ‘предыдущую формулу можно переписать 
В виде 


|=) 


МФ(Х, У)= } моб, 7) 694. = 9) 


— < 


Правая часть этого равенства представляет собой мате- 
матическое ожидание функции 


ф(Х) =М[Ф(Х, У) |Х] 


случайной величины Х. Следовательно, 


М(Х, У)=М [М [в(Х, УХЛ. 4 4 


Эта формула называется формулой полного математиче- 
ского ожидания. Она показывает, что при вычислении 
математического ожидания функции двух случайных ве- 
_Личин можно сначала найти условное математическое 
ожидание ‘этой функции при фиксированном значении 
одной из величин-аргументов, а потом найти математи- 
ческое ожидание этого условного математического ожи- 
дания, рассматриваемого как функция этой случайной 
величины. | 

Формула (34) справедлива как для скалярных, так 


и для векторных случайных величин Х и У. В послед- 


_нем случае все интегралы в предыдущих формулах сле- 
дует понимать как кратные интегралы по а 
щим пространствам. 

‘Формула (34) верна и для комплексных случайных 
величин (в том числе векторных) Хи У. Чтобы убе- 
диться в этом, достаточно понимать {, (х) и р» (и|х) в пре- 
- дыдущих выкладках как плотности случайных векторов, 
образованных действительными и мнимыми частями вели- 
чин Х и У (или`всех их координат). 

_ В частном случае при ф(Х, У) =У формула (34) дает 


МУ=М[М[У[Х]. - 


_ Таким образом, математическое ожидание условного мате- 


матического ожидания случайной величины У относи- 
тельно Х равно безусловному математическому ожиданию 
величины У. 

В частном случае дискретной величины Хх. подставив 
в (33) выражение (2: 24) ры (Хх), получим 


Мч(Х, У) У РМ [У]. = 89 
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Пример 22. Число приборов, поступающих в течение дня 
в ремонтную мастерскую, представляет собой случайную величину, 
аспределенную по закону Пуассона с математическим ожиданием ц. 
Вет того, что поступивший прибор потребует большого ре- 
монта, равна р. Найти математическое ожидание числа поступаю- 
щих за день приборов, требующих большого ремонта, 

При данном числе п поступивших за день приборов чиело при- 


боров, требующих большого ремонта, представляет собой случайную — 


величину, распределенную по биномиальному закону. Поэтому, . 
в соответствии с результатом примера 3.1, | 


МУ т=ир  (п=0,1,2,,..). 


Вероятность того, что в течение дня поступит п приборов, в соот- 
ветствии с (1.46), определяется формулой а 
п : 
Я Е - 
п! 
& | ; 
Подставив полученные выражения вероятностей и условных мате- 
матических ожиданий в формулу (56), получим 


|. © 

и" 

му = У, рым У |1] = Усе ир = 
1, п} 


| 2] 
- -и “1 | -в в 
| не" > ити. = р. 
п=1| са 


$ 4. Многомерное нормальное распределение 


4.1. Математическое ожидание нормально распреде-_ 
ленного вектора. Изучим нормально распределенные. 
случайные векторы. В соответствии с (2.22) напишем 
выражение плотности п-мерного нормально распределен- 
ного вектора Х в виде Е 


Е: | 
=“ -а)Со-а) 

Г(х) = Ане *_ = _ (37) 
Результаты изучения одномерного и двумерного нормаль- 
ных распределений в $ 3.6 и в примерах | и 7 наводят 
на мысль, что параметр а в (37) представляет собой 
математическое ожидание случайного вектора Х, 
а=т,= МХ, матрица коэффициентов С квадратичной 
формы в показателе степени обратна по отношению 
_к ковариационной матрице К, вектора Х, а коэффициент 
А, при показательной функции определяется формулой 

1 
А —= —— =. 
: у Е и (38) 
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Так как это верно для и=| и п=2, то для доказа- 
тельства этого утверждения в общем случае проще всего 
применить метод индукции. Предположив, что утверж- 
дение верно для (п —1)-мерного вектора, докажем, что 
в таком случае оно верно и для п-мерного вектора. 
` № Пусть Х’— случайный вектор, образованный первы- 
ми п—1 координатами вектора,Х, Х’={Х., ..., Хи 
и представим плотность }(х) в соответствии с (23) в виде 
произведения плотности |, (х’) вектора Х’ и условной 
плотности последней координаты Х, вектора ДХ: 


Е. РОЛ, —. ` (39) 


ь Для этого достаточно разложить | (х) на два множителя, 
один из которых не зависит от х,„, а другой при интег- 
рировании по х, в бесконечных пределах дает постоян- 
ную величину, не зависящую от х’. Тогда выбором под- 
ходящих числовых множителей к этим двум ая 
° получим требуемый результат. 

_ Выделим в показателе степени в (37) все слагаемые, 
зависящие от х,. Для этого положим для краткости 
и=х—а и представим матрицу коэффициентов С в виде 
блочной матрицы: 


Ст С12 ... СТ, п-1 Сл 
С12 022 (2, п-1 Сп ^ 
ее 5. -& * 5 Г о . 6 . . э ® ® ра . . ® = ст с , 
а С п-1 Са п-1 --. Сбап-рв-Е (п-т п ыы 

С1п. Сп ... Си-1, п Сип. 
где С; —матрица коэффициентов при ири. (р, 9=1,....п—1), 
а с— матрица-столбец — коэффициентов при ИИ, 
(=Е...: п. Точно так же матрицу- “столбец и 


разобъем на два блока и’ и и иГ=[иТ и,]. Тогда будем 
иметь 


псы" <] - 
п 


Син 
Саи’ сы 
ре 1 п А , Т 
НИТИ, РЕ | ити и’Тси,-- 
. ’ Е быт Г Г 
ГЕ ист сии = и ти Ни сти сия, 


так как и’Тс =сТи’ *). Дополнив два последних слагаемых 
до полного квадрата и снова пользуясь равенством 


*) Читатель, которого затрудняют выкладки с блочными матри- 
цами, легко убедится в справедливости этого равенства, представив 
его в скалярной Зормь 
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сТи’ =и’Те, получим о т. 
х т р . Т Г. о = 
Ибица сн | а + 2и, < ых г а 9 мы: 


т)" 2 "Т сти" 
— = (Ти): = и Си. со" бы. и . 


Вводя для краткости матрицу 


ое _ (40) 


Спп 


перепишем полученное равенство в виде | 
Ти’ \2 
: Си 
иТСи — и’ТС'’и’ -|- С пн (=, и ® ` (41) 
. ` пп . 


Подставив это выражение в (37) и вспомнив, что и=х— а 
и, соответственно, и’ =х” —а’, получим. 


К) = Анехр {ет ат) С’ ив’ х 
х ехр | С |, —а, +=. (х’ —) "1 ‚4 


Интеграл от второй показательной функции по х, в бес- 
конечных пределах не зависит от х’, в чем можно убе- 
диться, приняв за переменную ЕЕ выраже- 
ни в квадратных скобках вместо х,. Следовательно, 
эта показательная функция пропорциональна условной 
плотности Г. (х„|х’) случайной величины -Х„ при данном 
значении х’ величины Х’. Сравнив эту показательную 
функцию с выражением (3.85) одномерной нормальной 
плотности, получаем 


В (их) = р а бит [*,— а], 
| | (43) 


Оставшийся множитель в (42) представляет собой плот- 
ность случайного вектора Х’: 


Е (х°)=А 27 ехр те га") С’ (а, (44) 


Из (41) следует, что .матрица С’ положительно. опреде- 
ленна, так как при любом векто® и’ и и, = —(сТи’)/с», 

имеем и’ТС’и’ =иТСи > 0. Следовательно, распределение 
вектора Х’ нормально. А так как по предположению 
для (пП—1)-мерного нормального распределения наше 
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ре справедливо, То. 


1 / 
ых а > у =, | 45 
А, Спп У бл)" К»|° } 
у. (46) 
где К„, —ковариационная матрица уе И 
Х’, и а’=МХ’ или, что то же, а =МХ, 


Е =.“ Е 
_ _ Таким образом, величины @,,. .,@_1 равны мате- 
матическим ожиданиям т., ..., 1-1 случайных величин 
Х,, ..., Х„-:. Вследствие симметрии выражения плот-. 
_ности (37) относительно переменных х,, ..., х, заклю- 
чаем, что и величина. а, равна математическому ожида-. 
нию т, случайной величины Х,„. Поэтому а= МХ, что | 
_ И доказывает первую часть утверждения для п-мерного 
распределения. < 
4.2. Ковариационная матрица. Докажем теперь, что 
ковариационная матрица А’, а Х равна С-*. 
> Положим. 


УХ а. _ (47). 


При данном значении х’ вектора Х’ условное распреде- 
ление величины У,, очевидно, получается соответствую- 
щим сдвигом условного распределения величины Х,. 
Поэтому из формулы (43) следует, что условная плот- 
ность величины У, при Х’==х’ определяется формулой 


’ Спв --- епт 
а(у,|х’)= а 


_ и, следовательно, не зависит от х’. Это значит, что слу- 

чайная величина У, не зависит от случайных величин 

Х:; ..., Х„-т. Но независимые величины всегда не кор- 

‘релированы. Следовательно, ковариации случайной вели- 

чины У, со всеми величинами А 1, ..., Хит равны нулю.. 

Для вычисления этих ковариаций, принимая во внима- 
ние, что а„=МхХ,, а’=МХ'’, перепишем (47) в виде 

| : п-1 


с 2 
— хо РП ухо 
У, = А} — 2 р* 
рат °ИП 


—— | 

_Умножив это равенство на Х° и взяв математическое 
ожидание, найдем ковариацию У, и Х,. Учитывая, что по 
` доказанному она равна О при г=1,..., п—1, получим 
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соотношения | 
—0 @=ь в: (48) Ее 


откуда находим 


=> 


И ниь= 0 о 9) 


Перепишем теперь (46) с учетом (40) В скалярной форме: 


УЕ. (1—2 ") =6,, а 


пп 


или, так как с.,=С,,, 


п-! - 
у К, С 22 Си тс 2 рву, 
Но из (48) следует, что = - 
| т-1 
‚нь 


р=1 


`Ноэтому предыдущую формулу можно переписать в виде 


Хин 8 а. 


Формулы (49) и (50) показывают, что равенства (50). 
справедливы при $=1|,..., 7; г=]1,..., П— 1. Вследст- 
вие симметрии выражения (37) плотности относительно 
переменных х,,...,х,, наряду с (50) справедливы и ра- 
венства, получаемые из (50) круговой подстановкой индек- _ 
сов 1,..., И. Следовательно, равенства (50) справедливы. 
при всех г, $=1, ..., п. Это и доказывает, что матрицы 
Си К, являются взаимно обратными. < 

4.3. Коэффициент при показательной функции. Дока- 
жем последнюю часть утверждения —равенство_ (38). 

Р> Заметим, что так’`как с„„—элемент матрицы С, 0б-. 
ратной -по отношению к К,,, а "алгебраическое дополнение 
‚ элемента А, в определителе |К,| есть |К,„,|, то с„и= 
=|К,.|/|К,|. Подетавив это выражение в (45) и учтя, 
что определители взаимно обратных матриц являются. 
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взаимно обратными величинами, мы и «получим. фор-. 
‘мулу (38) для коэффициента А, в (37). | 

_ Таким образом, при любом п а А, в вы- 
ражении нормальной плотности определяется форму- 
лой (38), а=т,, С=К;. Поэтому выражение (37) плот- 
_ ности нормально распределенного случайного вектора Х 
можно ее в виде 


Е —= я и 
Ро = ука хр | з07—тР Кри —т,)}. (6) 


‘Эта формула показывает, что многомерное нормальное 
распределение полностью определяется математическим 
‚ожиданием и ковариационной матрицей случайного век- 
тора. Таким образом, нормальное распределение всегда’ 
полностью “определяется моментами: НЕВЕ и второго 
порядков. 

Нормальное распределение случайного вектора с мате- 
‚ матическим ожиданием 71 и ковариационной матрицей К 
` коротко обозначается М (т, К). Таким образом, утверж-' 
дение, что случайный вектор Х имеет распределение 
М (т, К), означает, что он распределен нормально и его 
математическое ожидание и ковариационная матрица 
равны соответственно ти К. В частности, утверждение, 
что скалярная (действительная) случайная ‘Величина Х 
имеет распределение М (т, 0), означает, что она рас- 
_пределена нормально. и ее математическое ожидание и 
дисперсия равны соответственно ти ДР. 

Заметим, что, доказав формулу (38), мы попутно. 
_вычислили сложный п-кратный интеграл 


сы 7 


ь м аи —У т)" [К,| ИТ”. (52) 


— © 


Этот результат является одним из многочисленных при- 
меров решения математических задач чисто вероятност- 
ными методами. Используя вероятностные закономер- 
ности, часто удается вычислять сложные интегралы без 
выполнения интегрирований или упрощать их до такой 
степени, чтобы’ дальнейшее интегрирование стало эле- 
ментарным, а также решать многие другие задачи. 
4.4. Условные распределения координат. Формула (43) 
показывает, что условное распределение каждой коор- 
динаты нормально распределенного случайного вектора 
при данных значениях всех остальных координат нор- 
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мально, причем условное _ математическое. ‘ожидание. И 
условная дисперсия координаты Х„ определяются фор- 
мулами 
п-1 
| , СР и Е С рп 
М [Х» |[х [=а,—-—-(х —- а )=т„— с - (х> —т)р), (53) 
пп | Си 


= 


Ех, _ 59° 


Таким образом, от х’ зависит только условное матема- 
тическое ожидание величины Х,„, представляющее собой. 
сдвинутую линейную функцию Жк: т.е. переменных 
Я 

Из установленных фактов как следствие вытекает, 
что распределения и условные распределения проекций 
нормально распределённого: случайного вектора’ на любые 
подпространства нормальны. 

№ Переписав формулу (53) в виде 


п-1 


М [Х» | Хх"! =; а" (х’—т’) т В +2 бр (хр —т.), (55) 


на основании соотношений (50) при =, г=Ь, .:., П-Ь, 
убеждаемся в том, что величины = — бов би -УДОВа 


летворяют уравнениям 


.п-| - 


У 28=йж = (Г=1,....п— 1), (56) 
или в векторной форме 
№ 258). 
где & —вектор с координатами А; „, ..., Е. в. 9 


Таким образом, условное математическое ожидание 
случайной величины Х, при Х’=х’ представляет собой 


сдвинутую линейную функцию х’, коэффициенты которой 


определяются системой линейных алгебраических уравне- 
ний (56) или (57). 

4.5. Случай. некоррелированных координат. Рассмотрим | 
частный случай, когда координаты случайного вектора Х 
не коррелированы. о 

‚ > В этом случае ^,„=0 при г=Ер и, следовательно, 


Сра= 0 при 95 Р, СЕ (р=1, ее 
159. 


%№ 


< 


Выражение (7). плотности при этом принимает ВИД 


= = < —а,)? (п -аи) | =: в 


ВЕНЕ 2: ,,. @ 2Ё№П к 
У (2л)"Ёа. ..К 


РОДЬО... 60»). 


Отсюда видно, что в случае некоррелированных коорди- 
нат нормально распределенного случайного вектора его 
плотность равна произведению плотностей его координат. 
_ Следовательно, координаты случайного вектора в этом 
случае независимы. < 

„Таким образом, координаты нормально распределен- 
ного случайного вектора не коррелированы тогда и только 
тогда, когда они независимы. 

4.6. Вырожденное * нормальное распределение. Фор- 
мулы (37) и (51) определяют плотность.для нормального 
распределения только в том случае, когда определитель 
матрицы К, не равен нулю и, следовательно, ранг мат- 
рицы К, совпадает с размерностью п случайного век- 
тора Х. Если ранг матрицы К, равен г < п, то, как мы. 
знаем из результатов $ 3.3, между координатами век- 
тора_Х° существует и —г линейных зависимостей, вслед- 
ствие чего распределение полностью сосредоточено на 
г-мерном подпространстве, сдвинутом на вектор т», (если 
_ т, не принадлежит этому г-мерному подпространству). 

Выражение плотности случайного вектора Х в этом 
случае, как мы видели в п. 2.3.4, содержит множителем 
б-функцию (п —г)-мерного аргумента. 

— № Если ранг матрицы К, равен г < п, то. существует 
отличный от нуля диагональный определитель порядка г 
матрицы К,. Соответствующая обратимая матрица К,, 
_ определяет нормальное распределение проекции Х” слу- 

‚чайного вектора на подпространство, образованное соот-__ 

ветствующими осями координат: 


1 г 7 а р --й р 
—_ = УРУЕ ехр {5 —т ТК; (х —т } 
= к . | (58) 


‘тде т’ = МХ’. Проекция Х” случайного вектора Х на 
дополнительное (п —/)-мерное подпространство оиесна ча 
определяется из уравнений ф/Х°=0 (р=г- 1, п), 
где Фф,., ..., ф„-— собственные векторы матрицы. К. 
соответствующие (ий —г)-кратному нулевому собственному. 
значению. Чтобы решить эти уравнения, представим 
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Те = 


А 


‘матрицы-столбцы ф о Хит, в блочном виде: 
Т р. эт ху’ ” Га у , 
фр = [Фр Фр ], \ ХТ= [Х. Т 4 т тх ЕЕ т’Т]. 


Тогда уравнения примут вид. 


То -- "ТХ=0 (рег 1,..., п). — (59). 


Собственные векторы ф,..р»..., ф, определяются уравне- 
ниями К,ф,=0 (р=г--1,..., п). АВ матрицу 
К, в блочном виде: 


Е Кх’  Кдих 
К [ки, кр | 


можем написать Эти уравнения В виде 


К», Фр Ах Фр = 0, о 0 (р= 7 НЕ 1, ...) п). 
(560) 


Так как матрица К„‚ обратима, первое уравнение можно 

решить относительно ф,›. В. результате получим ф,= 

—=— АК Отсюда, принимая во внимание, что 
х Фр- г 

в силу -(3:42) Ка, получаем фр’ = — Фр КиК 

Подставив это выражение в (59), получаем 


Фр. (Хх —ККуХ'°) =0 (р=Е- 1,. Е п). (61) 


Таким образом, мы получили систему однородных ли- 
нейных уравнений относительно координат вектора 
Х”°—К»„КуХ’®. Докажем, что определитель этой системы 


не равен нулю. Для этого подставим выражение фу из 


первого уравнения (60) в соотношение ортогональности 
векторов {ф,}: 
Фр те фед. 


Получим . =: - 
фр’ (Фу — Ку» Ку) =бао (рЕГ-Ь,..., п). 
При любом фиксированном д=г-ЕТ, ..., й правая часть 


одного из этих уравнений равна 1. Но система неодно- 
родных ‘линейных уравнений. имеет решение только тогда, 
когда ее определитель отличен от нуля, что и доказы- 
вает наше утверждение. После этого уравнение (61) дает 
ПА °, или. 


2" ы т -- К.К» о, —т =} 


Отсюда следует, что. условная плотность вектора Х” при 


7 


данном значении х’ вектора Х’ определяется формулой 


("| х' о (х—т” —К,„,,КУ (х —71 ’)). 


6 В. С. Пугачев а | т 


} 


_Подставив это выражение и выражение (58) плотности 


р. (х ) в формулу, найдем плотность случайного вектора Х: 


Г х)= У хр [0 —т ГК» ит) х 


т хб (х’—т’ --КиеКЯ (т): м (62) 


Распределение вероятностей, определяемое этой форму- 
лой, называется вырожденным нормальным распределением. 

Так как 6-функцию всегда можно рассматривать как 
‘нормальную плотность, соответствующую ковариационной 
матрице, все элементы которой равны 0, то для вырож- 
денного нормального распределения справедлива дока- 
занная выше теорема, что распределения и условные рас- 
пределения всех проекций нормально распределенного слу- 
чайного вектора на любые подпространства, образованные 
осями координат, нормальны. 

Однако проекции случайного вектора на любые под- 


_ пространства, образованные осями координат, могут быть ^ 


распределены нормально и в том случае, когда распре- 
деление этого вектора отлично от нормального. 


Пример 23. Плотность п-мерного вектора Х определяется 


формулой 


Г (х) = @-Е 8), 


где Гм (*) — любая нормальная плотность, ‘а #4) нобая функция, 
удовлетворяющая условиям: 


1) |5 (%) |< [м (х при всех х; а : 
2) \ а ахь=0 при воех хе тв В, .., п). 


_Интегрированием по любой координате вектора х убеждаемся. | 
в том, что проекции вектора Х на все подпространства, образован- 


ные осями координат, распределены нормально. Однако ‘распреде- 


ление вектора Х при & (х) = 0 отлично. от нормального. 


$ 5. Характеристические функции случайных величин 


5.1. Характеристическая функция и ее свойства. Ха- 
‚ рактеристической функцией действительной случайной’. 
величины Х называется математическое ожидание слу- 
‘чайной величины ей Х, рассматриваемое как ит 
действительной переменной Л. 
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На основании (3.3) характеристическая функция ве- 
личины Х выражается через ее плотность [ (х) формулой 


с(^) = Мех = 1. ел "жР (х) ах. (63) 


Эта формула определяет характеристическую функцию 
как для скалярной, так и для векторной величины Х. 
Размерность вектора ^, очевидно, всегда совпадает с раз- | 
мерностью случайного вектора. Х. 


`Так как |е^"Х|=1 при всех действительных А, то 
любая действительная случайная величина имеет харак- 
теристическую ‚функцию. 

‚Изучим свойства характеристических функций. 

1) Из (63) следует, что характеристическая функция 
непрерывна и что |5 (^)| < 1, 8(0)=1, #(— Л) = (^). 

2) Характеристическая функция положительно опре- 
деленна: для любых значений Ли, ..., Ам в. л, 
и любых комплексных. &1, ..., м | 


У (а, а ЕЕ 0. (64) 


рра=к 


Из определения характеристической функции и свойств. 
математических И следует 


м 
ее АРХ 
28 (“„— а) ЕЕ, = ея Ме (р ‘) ВЕ Е = 


— М 


2 
- эТ 
У РА - 
р=1 


Можно доказать, что любая непрерывная положитель- 
Но определенная, функция © (Л), 8 (0) = 1, может быть ха- 
рактеристической функцией случайной величины [51, 119]. 

3) Характеристическая функция ©. (и) величины У == 
= АХ --а, полученной в результате линейного преобразо- 
вания величины Х, выражается через характеристическую 
функцию с, (А) величины Х формулой 


2. (и) = ев; (АТр), =; 65). 
По определению 
с, (и) = а Ма = Мет (АХ+а) — имтаМаитАХ — 
в мае! АТЮТХ — (МТа о, (А ти 


6% | | | 188 


Ре: 


4) Из (65), в частности, следует, что характеристи- 
ческая функция проекции случайного вектора на любое’ 
_ подпространство С равна сужению его характеристической 
_ функции на это подпространство. , = 
- В. самом деле, если а=0 и А —матрица проектиро- 
вания на С, то АТ=А, А)=А для любого АЕСи 
А^/=0 для любого вектора А, ортогонального к О. 

В частном случае, когда подпространство С образо- 
вано некоторыми единичными координатными векторами, 
для нахождения характеристической функции проекции 
вектора Х на подпространство С следует в выражении 
_ 5, (^) положить равными нулю все координаты вектора А, 
в дополнительном подпространстве. 

_5) Характеристическая функция 8(^) суммы незави- 


симых случайных величин `Х.,..., А, равна произведению 
их характеристических функций в, (^) (Е =1,..., п): 
== Ц вь (0). _ (66) 


Действительно, по теореме умножения математичес- 
ких ожиданий (29). 


в) = Метои+.огнхь = мех, 


к=1 


6) Если Х.,..., Х, —независимые случайные величины, 
то характеристическая функция в (^), ^=|^...^,1Т, с0-. 


ставного случайного вектора Х =|Х,...Х„|7 равна произ- 

_ ведению характеристических функций 9, (А,) (^: ЕЕ, 
- величин А1,..., Х,: | - 
в) — Пак»). 59 


Действительно, по теореме умножения математичес- 
ких ожиданий (29) 


20) = Ме АТХ = Ме’ Х:+. Ах - Пим РЕ Хь 


| Наоборот, если м характеристическая функ- 

ЦИЯ | и Е (составного ‘ вектора Х = 
р, р) а формулой (67), то величи- 
А... гы ‚независимы. Это следует из формулы 
(72), выражающей плотность через Е 
функцию. 
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Таким образом, случайные величины Ху, ..., Х„ неза- 
висимы тогда: и только тогда, когда их совместная ха- 


рактеристическая функция равна произведению их харак- 
теристических функций. 


Пример 24. Характеристическая функция дискретной вели- 
чины Х с возможными значениями х1, ..., Хм и их вероятностями 
`р:, ..., Рм определяется формулой 


М т | 
5 (^) = -х ре" Х\. ы 
с | —— 


Пример 25. Для биномиального распределения 
(= У Стртат-те т = (ре дп. 
9 


Пример _96. Для распределения Пуассона 


©. = ро 
У е-^ 
& (^) — Е е-НеАт —е-И . | (ме о (А -1), 
> КО = . т=0 ее 


Пример 27. Для равномерного распределения в интервале (а, 5) 


Ь 
ег Ахах её №6 — ола 
8 (^) = т а 
—а ^^ О 


а 


Пример 28. Характеристическая функция скалярной. нормально 


распределенной случайной величины Х определяется а 


1 р (х-т) Би А 
Е р а: 
ее | Е р бе \ г” р Е, 


ИУ 2 У 2 


—® _© 
‘Применив формулу (1) приложения 2, получаем Е 
Ее А? Е 
9 (^) =е ы Е = (68) 
Пример 29. Для \-распределения 
[*.=) 
Ах ри 
Л) =\1е = о хйе-Ахах = 
Е(”) \ _Гето 
 (К-1^) ® 
ри+1 
уге-У4у, 


(гео з 


где интегрирование производится по лучу { в плоскости комплексной - 


переменной у, выходящему из начала координат в направлении век- 
тора &—{^. Применив теорему Коши о равенстве нулю интеграла _ 


по замкнутому контуру от аналитической функции, не имеющей ` 


особых точек в области, ограниченной контуром, убеждаемся в том, 
что В ВарОВаВи- по лучу [можно заменить интегрированием по 


165 


положительной части действительной оси. Тогда в силу определения 
(2.16) гамма-функции интеграл будет равен Г (и-- 1 и мы получим 


т (№ = (ЕП), к 6 
мер 30. В частном случае показательного распределения 
ормула (69) принимает вид 


7. - 
0)=—. 


3 7% 


Пример 31. _В другом ‘частном случае х?-распределения И = 
—=1/2— 1, =1/2 и формула (69) дает 


(А) =(1—2)7"?. 


Пример 32. Для п-мерного нерильНо распределенного слу 
‚ чайного вектора 


ти | ехр | Тя (хГ-- тг) К-* (х—т) | ах 


Применив для вычисления интеграла формулу (2) приложения 2, 
получим 


в (^) =ехр {ати АТКА (70) 
4 
5.2. Выражение плотности через характеристическую 
функцию. Характеристическая функция случайной вели- 
чины. полностью и однозначно определяет ее распределе- 
_ ние. Мы докажем это утверждение для случайных ве- 
-личин, имеющих плотность, возможно содержащую ли- 
нейную комбинацию б-функций. о в общем 
случае читатель найдет, например, в В Е 
_ № Плотность непрерывной случайной величины неотри: 
цательна и интегрируема. Поэтому, предположив, что 
она непрерывна всюду, кроме; может быть, конечного 
множества точек (линий, поверхностей, гиперповерхнос- 
тей в случае векторной величины), можем представить . 
ее интегралом Фурье: 


. 

г 

Г) = бля Шт, | е-й7* а (А). (71) 
-Л 


Эта формула определяет /(х) во всех точках ее непре- 
рывности, т. е. при всех х, кроме, может быть, некото- 
рого множества точек нулевой суммарной меры. Следо- 
вательно, она полностью определяет распределение не: 
прерывной случайной величины. 
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Формулу (71) обычно записывают в виде | 
© и га ее 
А 
-й 
К = лу | ©" "8 (а, (72) 

— © - : | | 
где интеграл понимается в смысле главного значения. 
Коши в случае, когда он сходится не абсолютно [69, 109]. 
Формула (72) определяет плотность и в случае дис- 
кретной или непрерывно-дискретной величины Х, так 
как в силу формулы (15) приложения 1 б-функция пред- 

ставима интегралом. Фурье: 


509 = те | ЧА, | ег\' и-2 6 (и) ди. 


Таким образом, формула, (72) определяет плотность, 
а следовательно, и распределение по данной характе- 
ристической функции для всех трех типов случайных 
величин, встречающихся в задачах практики. < 

5.3. Связь между характеристической функцией и мо- 
ментами. Чтобы установить связь между характеристи- 
ческой функцией и моментами случайной величины, рас- 
‘смотрим сначала случай скалярной величины. Ее харак- 
теристическая функция в соответствии с а определяется. 


формулой - 


[2] 


(= \} ехал. 


—<5 


№ Предположим, что существует момент г-го порядка 
«а. величины Х. В этом случае существует и производная 


[=] 


5“) (^) =” \ х’ей“х (х) ах = ИМ ХгейХ. 


_- 


Положив здесь ^=0, находим выражение для момента 
«, через характеристическую функцию: 


а, 1-18 (0). © (73) 


Если величина Х имеет моменты до порядка \ вклю- 
чительно, то на основании (73) характеристическую функ- 
цию &(^) можно представить формулой Маклорена: | 


в =1+% дем Ё., (74) 


где Ю.,— остаточный член, 
— 197. 


Заметив, что е-”хв (^) представляет‘ собой характе- 
ристическую функцию центрированной случайной вели- 
чины Х’=Х—т,, из (73) получим 


ь а я 
о ее ев (75) 


Если случайная величина Х имеет конечные цент- 
ральные моменты до порядка’ у включительно, то функ- 


ЦИЮ Е (Л) можно ыы формулой Маклорена: 


е-йатзв (^) = 1 +78 й —- ЕВ (16) 
Совершенно так же ‘для п-мерного. о векто-_ 
ра Х получаем формулы для моментов @в,, .... в, И. 
и щи. И, =: 
| + 978 0). 
баг | ар о (77) 
с : ‚0! .. „д\лт 1 =0 . х 
д" а 
ЕР ое ЦА 78 
И, РЕ МИ - аа 5 ( )| ( ) 


и’ выражения функций 2 (^) и е-^"тхр (^.) через моменты: 


вю=+хи У рем. мк, 09) — 


[9 
г=| +... -+Ин= и 


_е-. А ыы (^) = о 


| г Вл, = [2 1 та р’ | 
ТЕ А. МЕ, (80) 


т=59 +... +АнЕГ 


где ‚равенство под знаком внутренней суммы указывает, 
что суммирование распространяется на все значения 


й, ..., й, =0,1,..., Г, сумма которых равна г. + - 

Полученные соотношения дают два простых и удоб- 
ных способа вычисления моментов случайной величины: 
способ дифференцирования характеристической функции 
и способ разложения ее по степеням ^. 


_ Пример 33. Для скалярной нормально распределенной слу- 
чайной величины Х на основании (68) имеем 


1 [#2] 
| г — 159$ 2503 
| —Йт Е р; БЕ, Х 125 
г е хе (^) =е те 95$ №75 =. 955] №25 


5=0 
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Сравнив эту формулу с (76), находим 
Иа, С 25 х. 


Этот результат совпадает с полученным в $ 3.6. В данном случае 
способ разложения характеристической функции в ряд значительно 
проще, чем непосредственное вычисление моментов. - 

Пример 34. Для нормально распределенного п-мерного слу- 
чайного. вектора на основании (70) имеем а 


А 
пт У 2 = ) Т а 
е-1\тха (\) =е. р таг (АТК) 
$ = 
|.) п Ех 
{25 : С 
=»: 551 уз К рад, Роза Юра Ади" * Ар; ^ ‘45° (81) 
5=0 Ра, 91, -.., Р$, 95=1 


Отсюда видно, ЧТО все центральные моменты нечетного порядка а. | 


мально распределенного случайного вектора равны нулю. Для цент- 


рального -момента четного порядка в -.. Ев —=2$ из сравнения 


(80) и (81) вытекает Е 


На,, ее а ть рад, * * р545 _ в 


где сумма распространена на все возможные различные перестановки 


2$ индексов рь» 41, ..., Ру, 95, Из которых й: индексов равны 1, 
й› равны 2, ‚ И, равны п. Очевидно, что число таких перестано- 
вок, а ‚следовательно и число слагаемых в сумме (82), равно 
(25)! (ВГ. й„!). Положив в (82) последовательно $=2, Й: =4, йьк=0 


‚ при > 1; = 3; 1. =1, Йк=0О при #> 9; ЕЕ в, —0 Е 


# >> Е ЕЕ р =0 при 5 й: =Й. == 


й =0 при > 4, получим следующие формулы для центральных 


Г. оментов четвертого порядка: 


И4о.. = ЗА, №310. . .0 = ЗА Ато, 
а ой 28%, о 
о 28 
[л1110.. .0= А12з4 Е 21324 -- 1423. 

Формулы (82) и (83) выражают центральные моменты нормально 


распределенного случайного вектора через элементы его коар 
ционной матрицы. 


Заметим, что приведенный вывод формулы (82) для моментов 


нормально распределенного случайного вектора при помощи разло- 
жения его характеристической функции в ряд крайне прост, в то 


время как непосредственное вычисление моментов по формулы $ 3.5. 


было бы весьма громоздким. 


Если распределение случайной величины. полностью со- 
средоточено в ограниченной области, то ее моменты всех 


‚ порядков существуют и полностью определяют. ее распре- 


деление. | 
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> Для. доказательства достаточно заметить, что если 
й - В 
[Х»| <1 (Е=Т,..., п), то |и,,..., в| < И‘... 1, велед- 
ствие чего члены. ряда Маклорена характеристической 
функции по модулю меньше соответствующих членов 
сходящегося при всех А, ряда: 


- < ое ре ай т 
1+У Е Аи ел , 
Г=1 +... +Пп=ЕГ 5: 
к | 
5.4. Семиинварианты. В некоторых случаях удобно 
пользоваться разложением по степеням Л не самой ха- 
рактеристической функции, а ее логарифма. 
Если существуют моменты скалярной случайной ве- 
_личины Х до порядка у включительно, то на основании 
‘формулы Маклорена 


/ 


\ 


пал = У има. (84) 
А Е : 
Коэффициенты = | . 
а, Га’ тв (А) | 
и Е | о 5 


называются семиинвариантами или кумулянтами слу- 
чайной величины Х. Выразив производные м5 (^) через 
соответствующие производные характеристической функ: 
ции, можно на основании (73) выразить семиинварианты 
случайной величины через ее моменты, и наоборот. Мы: 
предоставляем читатёлю самостоятельно найти эти зави- 
симости. Если воспользоваться формулой 


ша(л)=ит, А--1п {ет тхв (^)} 486) 


И принять во внимание (75), ТО Получим выражение се- 
миинвариантов случайной величины через ее математи- 
ческое ожидание и центральные моменты: 


ы #1 = Тх, ==, Хз — Из, 
= — Эа» = — 1Орырь, 
Ив = Ив — ры — 1Орз-- ЗОрь, _ 


‚® Ф ® ® ° ® . ® ® ® ® ® э © 
` ь 
ы - из 


(87) 


Если существуют моменты п-мерного случайного 
вектора Х до порядка у включительно, то формула 
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Маклорена дает 


У. | 
ша) =Уи У, пи ме... В, (88) 


4—9 В+... -Йв=Г 
Виа 
=. д" |п & (^) | | 
х ДТ инь й ...- И =) (89 
п ее Пл 6; Е вн | ( 1 - -Е в ) ( )) 


называются семиинвариантами или. кумулянтами слу- 
чайного вектора Х. Ясно, что семиинварианты порядка г 
выражаются через моменты до порядка г включительно, 
и наоборот. 

Формулы (68) и (70) показывают, что .для нормально 
распределенной случайной величины все семиинварианты 
выше второго порядка ‚равны нулю. Следовательно, семи- 
инварианты случайной величины, начиная с третьего 
порядка, характеризуют отклонение ее рае от 
нормального. 

Семиинварианты обладают одним интересным свойст- 
вом: семиинварианты суммы независимых случайных вели- 
чин равны суммам соответствующих семиинвариантов 
слагаемых. Это следует из свойства 5) характеристических 
функций. 

5.5. Порядок остаточных членов в разложениях. Оста- 
точные члены в (79), (80) и (88) имеют порядок о (| ^ У). 
Мы докажем это, предполагая для простоты, что вели- 
чина Х имеет конечные моменты (»- 1)-го порядка (хотя 
достаточно существования конечных моментов у-го по- 
рядка). 

> Е. ейт х формулой Маклорена и имея в 
виду, что |А7Х | <|^||Х|, получаем 


Е =1-+ тт, У И Мотхув, = (90) 
} ау. \ : 


где 


ВТ [м Отхуе+1 ат | < 


Рот 
Е мух о 
Е. 


; м, - ь ыы 
-. | 

Так как е`"^ 578 (^) есть характеристическая функция. 
центрированной случайной величины Х*®, то из доказан- 


°— ного следует, что и Ю=о (А). 


Наконец, подставив в формулу 


о ша+а- Усине 40). 91 


выражение 2= Ее) — из (90), убеждаемся в том, что 
и К =0(^ |). 4 

_ В частности, положив в (90) и. (91) у=2, получаем 
для характеристической функции случайной величины Х 
с конечными моментами третьего порядка` 


› Ша =йт, у МКАчо (Ар) (92) 


(эта формула справедлива и в случае, когда Х имеет 
только моменты первого ‘и второго порядков). 


Ее 


‚ ФУНКЦИИ СЛУЧАЙНЫХ ВЕЛИЧИН — 


Рой 


$ 1. Моменты функций случайных величин 


1.1. Точные формулы для первых и вторых моментов. 
В п. 3.1.3 и п. 3.3.5 мы научились находить первые и 
вторые моменты линейных функций случайных величин. 
Для определения этих моментов достаточно знать первые 
и вторые моменты величин-аргументов и не требуется 
знать распределения величин-аргументов. Иначе обстоит. 
_ дело с нелинейными функциями случайных величин. | 
Предположим, что случайный вектор У (в общем слу- 


чае комплексный) представляет собой данную функцию — 


действительного случайного вектора Х, имеющего плот- 


ность [(х), У =Фф(Х). Моменты величины У можно опре- 


делить по формуле (3.3) для математического ожидания 
функции случайной величины. Пользуясь этой формулой 
‚и представляя векторы в виде матриц- -столбцов, на ос-_ 
новании определений (3. 35) получаем 


= 


[= 


т, = МУ = Ме(Х)= \ ФФ Коахь о 


Г, = МУУ* =МФ(Х)Ф (= | $5) Ф (х)* | (х) ах, (2) 


к,= музу = МФ (Х) т [Ф(Хт] = _ 
= } @ф-п оо’ фто ах. 8) — 


Точно так же по формуле (3.3) определяется взаим- 
ный второй момент и взаимная ковариационная матрица 
двух случайных векторов, представляющих собой данные 
функции У =ф(Х), ё=1ф(Х) действительного случайного 
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вектора Х: 
Г,,= МУ2* = Мо(Х)ф(Х)"= { ФФ) ода ©) 


0 


Кг = МУ° 27° = } [Ф (х) —т, | С (х)* —т> [| (х) 4х. (5) 


Формулы (1)—(5) применимы и к функциям комп- 
лексного случайного вектора. В этом случае под Х сле- 
дует понимать 2п-мерный действительный случайный 
вектор, координатами которого служат действительные 
и мнимые части координат и-мерного комплексного слу- 
чайного вектора-аргумента. 
| В частном случае одномерных векторов У и & фор- 
мулы (1)—(5) определяют математические ожидания и 
моменты второго порядка скалярных функций случайных 
величин: 

Формулы (1)—(5): показывают, что для’ определения 
_ математических ожиданий и моментов второго порядка 
нелинейных функций случайных величин необходимо в 
общем случае знать’ плотность величин-аргументов. 

Предлагаем читателю самостоятельно доказать, что в 
частном случае линейных функций ф(Х) и ф(Х) из фор- 
мул (1), (3) и (5) вытекают соответственно формулы (3.49),. 
(3.50) и (3.55) для математических ожиданий и ковариа- 
ционных матриц линейных функций случайного вектора Х. 


Пример 1. Шарики для шариковых клапанов изготовляются 
с ошибками в радиусе; распределенными по нормальному закону’с 
математическим. ожиданием гу и средним квадратическим отклоне- 
нием с (конечно, о << гц). Найти математическое ожидание и диспер- 
сию площади диаметрального сечения шарика. „ $ 

Площадь 5 диаметрального сечения шарика выражается через. 
его случайный радиус известной формулой $ =лРА°. Следовательно, 
случайная величина $ в данном случае является нелинейной функ- 
цией случайной величины Ю; Поэтому для определения т;”^“и О; 
следует воспользоваться формулами (1) и (3). Применяя формулу (0, 
будем иметь 


[5 вр И Се 
т. пи?Р (г) аг=л = | ге |" ИР 
5 ) [ (г) оИ2л 9. 


Последний интеграл вместе с множителем 1/сУ 2л. представляет 
собой начальный момент второго порядка СрУчаННОЙ величины Ю, 


который на основании р (3.29) равен го--о?. ЕдОРаТЛННО 


== Л (ге д?). 
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После этого формула (3) дает 
\ 


- (=). 
р. = | 72—72 — 02)? ей 
7 УЕ : т 


Вычислив интеграл (что можно сделать, раскрыв скобки под знаком 
интеграла и путем интегрирования по частям избавившись от чет- 
вертой степени г), получим 


р. =2л?0? ве. 0). 
Пример 2. Найти математическое ожидание и дисперсию слу- 
чайной величины 
У = Хз— АХ, 
где Х— слудайная величина, равномерно распределенная на интер- 
вале (—а, а). 
Плотность величины Х в интервале (—а, а) равна 1/(2а), а вне 


этого интервала равна нулю. Поэтому, применяя Формулу (1), по- 
лучаем 


2 Ту= о | (*— вх) ах==0 


После этого формула. (9) дает 


тЫ о м ь2 
-} (хз — дах Е —— к а, 


Е имер 3. В условиях примера 2 найти коварнацию случай- 
ных величин 


ны Зы АХ, 2 ЗН, 
Сначала находим по формуле (1) математическое ожидание слу- 


чайной величины @, которое оказывается равным ну После. этого 
по в (5) находим | 


4 о 2. Ри 
255 г (3 — АХ (43-1 1%) ах= 15а — 21а т — 35 а? 


—а 


1.2. Метод линеаризации. Сложность вычисления ма- 
тематических ожиданий, дисперсий и ковариаций нели- 
нейных функций случайных величин приводит к естест- 
венному желанию пожертвовать точностью ради простоты 
и найти простые приближенные формулы, подобные фор- 
мулам для моментов линейных функций случайных вели- 
чин. Для получения таких приближенных формул обычно 
применяют метод линеаризации, который состоит в замене 
_ нелинейных функций достаточно близкими к ним линей- 
НЫМИ функциями, 


175 


_ Рассмотрим сначала случай скалярной функции ска- 
лярной случайной величины Х. В этом случае линеари- 
зация нелинейной функции. ф (Х) сводится к замене кривой 
_у=Ф(х) некоторой прямой у=ах-Н5. Если удастся подо- 
брать прямую, достаточно близкую К кривой в области 
практически возможных значений случайной величины Х. 
(в случае нормального распределения случайной вели- 


_ чины Х в интервале/(т,—3о,, т,-- 30,)), то можно рас-. 


считывать на то, что математическое ожидание и диспер- 
_сия соответствующей линейной функции случайной вели- 
чины Х будут близкими к” 
математическому ожиданию и 
дисперсии ‘нелинейной функ- 
ЦИИ. 

Посмотрим теперь, как 


меняющую данную кривую. 
Так как плотность случайной 
величины обычно имеет боль- 


т х шие значения вблизи матема-. 


`тического ожидания и мень- 
шие вдали от математичес- 
кого ‚ ожидания (возможные. значения случайной величины 
расположены «гуще» около математического ожидания и 
«реже» вдали от него), то естественно добиваться более 
высокой точности приближения прямой к заданной кривой 
около математичеекого` ожидания случайной величины- 
аргумента, т.е. около точки х=т,. Поэтому наиболее 
естественным способом линеаризации для наших целей 


Рис. 18. 


является замена кривой у==ф(х) отрезком касательной 


к ней в точке х=т, (рис. 18). При такой замене истин- 
ная нелинейная зависимость случайной величины У от Х 
заменяется приближенной линейной зависимостью 


Ул Ф(т,) + $ (т,.) Х°. = (6) 


Само собой разумеется, что для возможности такой замены 
необходимо существование производной функции ф(х) 
_ в точке х=т,. С аналитической точки зрения замена 
_ нелинейной функции ф(х) линейной функцией (6) равно- 
ценна замене приращения функции ф(х) в точке т. ее. 
дифференциалом. 

_ Аналогично получаем формулу (6) в случае векторной 
функции случайного вектора Х; дифференцируемой в 
точке 11,. В этом случае ф’(т,) следует понимать как 
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следует выбрать прямую, за-_ 


лба 


Ра 


матрицу частных производных всех координат вектора 
ф(х) по всем координатам вектора х в точке х= т: 


0ф: 0ф: ‘ Оф: 
дх; Оха ^°° дж 
Ф”(т,.) = о. `. НЕ Ее (7) 
дФ; 9$; дф; 
дх1 дхо Не 9х» а - 


Заменив. функцию Фф(Х) линейной функцией (6),. 
можно применить для вычисления математического ожи- 
дания и ковариационной матрицы случайного вектора У 
формулы (3.49) и (3.50). В результате получим прибли- 
женные формулы > 


т = Ф(т,), К, =’ (т,) КФ’ (т, _ (8) 


Формулы (8), справедливые как для действительных, 
так и для комплексных скалярных или векторных слу- 
чайных величин А и У, позволяют достаточно просто, 
без сложных вычислений приближенно определять мате- 
матические ожидания и моменты второго порядка любых 
нелинейных функций случайных величин, непрерывных 
вместе со своими первыми производными. Эти формулы. 
тем точнее, чем меньше отклоняется функция Фф(х) от 
заменяющей ее линейной функции (7) в области практи-_ 
чески возможных значений величины- аргумента Хх. Чем 
сильнее отклоняется функция ф(х) от линейной функ- 
ции (7), тем меньше должны быть дисперсии координат 
вектора Х для того, чтобы можно было пользоваться 
формулами (8). Если ф(х) слабо отклоняется от линейной 
функции (т. е. ф’(х) изменяется медленно с изменением х), 
то формулы (8) могут быть достаточно точными и при 
больших дисперсиях координат вектора, Х. Если Ф(х)_ 

значительно отличается от линейной (ф’(х) изменяется. 
_ быстро), то формулами (8) можно пользоваться только 
при достаточно малых дисперсиях координат вектора Х. 

Пример 4. В условиях примера 1 найти математическое ожи- _ 
дание и дисперсию площади диаметрального сечения в БЕ а методом 
линеаризации. 

В данном = ме ф(Е) =лК*. Поэтому © Е и фор-` 
‚мулы (8) дают 

т; = ф(т,) =Ф (то) = ло, 
р; = | Ф’ (т,)]? 08 = |’ (го)? 0? = 4л/00?. 
Сравнив эти ‘формулы с точными формулами примера 1, видим, что 
метод линеаризации в данном случае дает `хорошую точность, если 
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от, т.е. если дисперсия ‘радиуса шарика мала по сравнению 
с квадратом его математического ожидания. Например, при б=0,17о 
относительная ошибка определения т; методом линеаризации со- 
ставляет 1%, а относительная ошибка определения дисперсии р; — 
0, 5%. Е * 
Пр имер 5. Решить пример 2 методом ии, 

В данном случае фе — Ах, Ф’ (х) =3х°—^, и формулы (8) 
дают 
^ 

Ру=| ф’ (т) =[Ф’ (0) р; =2?Ох. 


Вспомнив, что дисперсия случайной величины, равномерно распре- 
деленной на интервале длины 2а, равна а?/3 (пример 3.3), ‚получим 
окончательно Ду = А?а?/3: Сравнив этот результат с точной форму- 
лой примера 2, видим, что в данном случае метод линеаризации 
дает хорошую точность, если а? <<. _ 

Пример 6. Решить пример 3 методом линеаризации. 

В данном случае ф(х) представляет собой двумерный вектор 
с координатами Ф, (х) =” —Ах, ф> (х) = 3-Е [х, 


91 (0) ] _[—^ 
К (тх) =’ (0) = й и [ , 
| _Ф2 (0). 
и вторая формула (8) дает 
| Е =: - г. 
ть та =| Е Вт п= | юр» Ы р |. 
откуда находим 
| _. 8 
зе 
_ Сравнив эту формулу с точной формулой примера 3, видим, что в 
о случае метод иеричаиЯ дает хорошую точность, если 
и, '5 
Пример 7. Ролики для подшипников изготовляются с ошиб- 
ками, приводящими к тому, что каждый ролик представляет собой 
эллиптический цилиндр с полуосями го Х1 и го Х . высоты [-- Хз, 
где гои /,— номинальные значения радиуса и высоты ролика, а Ху, 
Х.›, Хз— случайные ошибку производства, представляющие собой 
координаты нормально распределенного случайного вектора с нуле- 
вым математическим ожиданием. Найти математическое ожидание и 


дисперсию сбъема ролика. 
В данном случае У =Фф (Х) =л (7%. Х!1) (го Х,) (6- Хз), 


`д | [ . 
о, (т, | ф 9 $ | о ПГоо по] 


г - И = 


дх1 дхо дхз 
и формулы (8) дают 


га 


ть =ф(т,)=ф (0) = ло, 
Аа №2 К13 Го 
Ру [пгиолг оли] Е12 К22 Кэз | | ЛГо/о |== 
же. К1з К2з ‚ Езз. п | *_ 
= ло [ (Каз 21 Кзз) 0-2 (ваз №53) ого-Е аз]. 
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`В частном ыы независимых ошибок Хх. Х», Хз Иа 0 
и 


р. = = ПГО в (2. В 2) В ры, 


где О: = #11, О. =КАо», Оз==Азз. 

Пример 8. Оценить точность определения математического 
ожидания и дисперсии случайной величины У=Ф(Х) для случая 
скалярных Х и У, предполагая, что функция Ф (х) имеет ограничен- 
ную вторую производную в области возможных значений величины Х. 


$2. функция распределения функции случайного 
аргумента’ 


2.1; Общий принцип определения распределений функ- 
ций. Во многих задачах практики, особенно в матема- 
тической статистике, необходимо уметь находить рас- 
пределение функции случайонго ЕВЕ Мы будем 
решать эту задачу, пред- 
полагая все случайные 
величины, как скаляр- 
ные, так и векторные, 
действительными. Спо- 
собы нахождения рас-. 
пределения функции. 
У =Ф(Х) случайной ве- 
личины Х основаны на 
следующем  очевидном ее 
положении. Чтобы слу-- Азер (8 
чайная величина У по- | Рис. 19. 
пала на множество В, | ее | 
’необходимо и достаточно, чтобы величина Х попала 
на множество Ав. значений х,. которым соответствуют 
значения функции ф(х), принадлежащие множеству’ 
В, Ав={х: ф(х)ЕВ}*). На рис. 19 это проиллюстрировано 
для скалярных величин Х и,У. Поэтому вероятность 
‘попадания величины ‚ У = ф(Х) на множество В равна 
вероятности попадания величины Х на множество Ав= 
—4х: ф (>) ЕВ}. 

2.2. Нахождение функции распределения. В зависи- 
мости от того, как выбрать. множество В, получаются 
разные способы нахождения распределения величины У. 
В частности, если принять В={У < у}, вероятность. 
попадания величины Х на. соответствующее множество 


*) Такое множество Ав называется прообразом множества В 
(соответствующим функции Фф (х)) и обозначается ф-1 (В), Ав=Ф- В). 
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в=А Ца: о у будет представлять ` собой ие 
_цию распределения случайной величины У =ф(Х).. 
Очевидно, что для возможности определения функции 
распределения величины У==Ф(Х) необходимо и доста- 
точно, чтобы функция ф(х) удовлетворяла единственному 
условию: при любом у должна быть определена веро- 
о попадания случайной величины Х на множество 
-А,={х: ф(х) < у}. Такие функции называются измери- 
= мыми. Функции, с которыми приходится встречаться в 
задачах практики, всегда бывают не только измеримыми, 
но по болымей части и непрерывными, а часто и диф- 
ференцируемыми. 

Предположим, что известна плотность |; (х) случайной 
величины Х. Тогда на основании сформулированного 
принципа функция распределения Р, (и) случайной вели- 

ЧИНЫ У=Ф(Л) определяется формулой 


Е, (у) = \ Ндах=. \ пыфа. — 0) 
А Ф(х) < у | 
у 
Эта формула справедлива как для скалярных, так и для 
.векторных случайных величин Х и У (включая случаи, 
когда одна из них скалярная — одномерный вектор, а 


- другая. векторная). 


| Пример 9. Дана плотность р (х, у) двумерного случайного 
вектора (Х, У). Найти 'распределение отношения координат этого 
вектора 2 =У/Х. 

_—_. Учитывая, что у/х <2 при у<ах, если х>0, и при и> 2х, 
если е < 0, находим по. › формуле (9) функцию распределения вели- 
ЧИНЫ 


Е 0 © © 2х 
Ре= У лс», уахаи= | ак | Не, да ах | В, да. 
у/х <2 —© 2х 0 —<© 


Дифференцируя эту формулу по 2, находим плотность величины 2: 
- 
ва = С, 20 4%. (10) 


В частности, в случае круговой симметрии распределения аргу- 
ментов [: (х, и) = ка 7?) и формула (10) дает 


-Ь@=2 \ хр (х® (1-- 2?)) ах. 
| в ие : 


=“ 
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Замена ераеВнИХ и=хУ 1-- 2? приводит эту формулу К виду 
8 - р ооо Интеграл здесь прЕКСНВАЯЕТ собой по- 


стоянную, р легко определяется из условия равенства еди- 
_ нице интеграла от плотности р» (2) по всей области возможных зна- 
чений отношения 2 =У/Х, т.е. от —< до - _В игоге. получаем 


=_= = 


Пример 10. Распределение п-мерного случайного вектора Х 
‘задано плотностью“: (х) =р (хТСх), где С — положительно опреде- 
ленная симметричная матрица. Найти распределение квадратичной - 
формы У = ХТСХ. Е 


распределение Коши (пример 3.6): Ь ТЕР 


По формуле (9) находим Ё ты РЕ -\ р (хТСх) ах. Любую сим- 
хх < <у 


метричную положительно определенную матрицу можно ортогональ- 
ным преобразованием привести к диагональной форме. Обозначим 
буквой ЛА диагональную матрицу, элементами которой служат 
_ собственные значения Аи, ..., А» матрицы С.)Тогда, имея в виду, 
что определитель ортогонального преобразования равен единице, по- 
лучим после соответствующей замены переменных 


Ро (и 2 \ р (итл и) аи. 
иТли<у | ——- 


Положим теперь УЛ и = ра *),^ где р—скалярная неотрицательная 
переменная (модуль радиуса- а точки в И-мерном пространстве), 
‘а а—п-мерный вектор’ с единичным модулем, аТ&==1 (координаты 
1, ..., Ям вектора @& представляют собой направляющие косинусы 
радиуса-вектора точки п-мерного пространства). Перейдем от пере- 
менных интегрирования и1, ..., и» к переменным рф, о, ..., би 1. 


Кона преобразования. в силу соотношений 4р— =ра,/ УХ ри 
ота=о--...-Р аи ==1 равен р 


91 о 

— сни” 22 0. ф.о 0 
ИЛ. УЛ, 
45 О 

= 0 — ... 0 
УЛ. | ИЛ, | (—1)7+1 о" -1т 

и 

а ` У: Аа 
Но 0 в т 2 
УЛ, -1 : - ИА, 
Чт _. __ 99 0 ___ @п-16 


УЛ, п ИЛ» в _ Ча УЛ. 


*) У А представляет собой диагональную матрицу: с элементами 


Ил, ...у ИЛ... > 
181. 


А так как Е то наш интеграл принимает вид 


Е, = | р (6?) с"- тар т г ПЕ. : 


р’ <у | 1+. +07 
Интеграл по Йеременным ©, :.., Ми-1 ава собой постоян- 
ную величину с. Поэтому 
| | И 
Ра (И) =с \ р (р°) р" -* ар. 
| 0 


° Дифференцируя эту формулу по у, находим плотность величины У: 


ВФ? рф. 


® 


Постоянная с определяется из условия Ра (90)-== |. 
‚В частном случае нормально распределенного вектора Хх 


— хГсх 
а тс Е УИ: 1 


и полученная формула принимает вид 


АНИ 
3. . у? е е 2 т (11) 
2 Дек | 

а (=) 


Это распределение, часто встречающееся В ле ческой статис- 
тике, называется )?-распределением, так как -величина с таким рас- 
пределением в статистике называется хи-квадрат. Натуральное чис- 
ло п в (11) называется числом степеней свободы. Сравнение (11) 
с (2.15) показывает, что х?- Е представляет собой у-рас- 
БЫ с параметрами А = 1/2, и = (п/2) —1. 
Пример 11. Распределение случайных величин Х и У опре- 
деляется формулой 


Рь (У) = Ри (У) = 


|: 


В =" 9 9+) 1910, 


„ Где 9 (— произвольная функция. (которая может содержать $- -функ- 
ции). Найти распределение отношения 2 =У/Х 
Подставив м выражение Н (х, и) в (10), получим ь 


та Е 9+2) 4х. 
т, 


182 


# 


Замена переменных и=х (1-2) дает 
Ее ‚Е 


Ра (1-2). ЕЕ 1 (2) и 9шаи.. 


Последний интеграл представляет собой постоянную величину. Его 
можно вычислить из условия нормировки (равенства интеграла от 
плотности единице). В результате получаем 


т) а 
кг И 1. (12) 


Подчеркнем, что это распределение не зависит от вида функции 4 ({). . 
Таким образом, при. любой функции 4(1) в выражении плотности 
| (х, у) распределение отношения ее =У/Х определяется плот- 
ностью (12). 

Положив, в частности, 4 (#1) = се” -#. при соответствующем выборе 
постоянной с, получаем следующий результат: плотность отноше- 
ния двух независимых случайных величин Х и У, имеющих у?-рас- 
пределения с Ки 1 степенями свободы соответственно, определяется 
формулой (12). 

Пример 12. Распределение п-мерного случайного вектора Х. 
имеет шаровую симметрию, Н (%х) =р (хх). Найти а С 
чайной величины 


ЕН ВЕР . " п ` 
у: (13) 
: ХТХ —пХ* п Е=1 ‘ 
‚ По формуле (9) находим 
Е» (® = | р (ах) 4х, 
А 


где множество А; определяется формулой 


Выполним такое ортогональное преобразование вектора х, при ко- 


тором величина х Уп переходит в первую координату у! вектора у. 
Для этого достаточно, чтобы все элементы первой строки матрицы 
преобразования. А были равны 1-2. Тогда, имея в виду, что 
АТ=А-1, | А|]=1, получим 


Е› (1) = \ р (уТу) ау. | 
5 п-1 
в: и у я < 
5 УУ-И 
Положив и=ро, где о и а имеют тот же смысл, что и в примере 10, 
и имея в виду, что якобиан преобразования в данном случае равен 
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-(—1)7 +1 оп-1 7/0, получим. 
Е. (= \ т \ Ч Е. 


2 [бе | 
5 а и" 
17) 5 ь 
| ее | 1-@“у 
_ где для краткости положеко 
а | 
=\ "-тр (р) 46. 
0 р 
а в явной форме пределы интегрирования по переменным 
р, м. 1, получим | 
= | 45 аб 
в. | в - Ра 
ыы =  —(Ий-Т 
>. уе оз +.. Нат < 1-04 
1-21 %= - 
Интегрирование по а, ..., бш-: Производится по (п—2)-мер- 


ному шару радиуса и | 01, объем которого пропорционален 
ЕЕ Е При этом подынтегральная функция в центре шара 
равна (1— са)" ‚ Поэтому интуитивно ясно, что интеграл по. пере- 
менным 2, ..., би_1 пропорционален (Е об) @- 3! Чтобы строго 
доказать это, достаточно ввести новые переменные интегрирования 


И ах. жж В ЕО Иа Тогда, объединив. по- 
‚ стоянный интеграл по переменным Вь, ..., Ви-1 с постоянным мно- 
жителем с и обозначив новую постоянную буквой а, получим 


п-3 


В. (@=а’ \ '(1—а#) * 4. 


т. 
35: .. “У . <# 
| 1-01 


Наконец, вводя новую переменную интегрирования Т == 
= @/1 У "—1/(1—а), приведем полученную формулу к виду 


= ый 
2 \-п/2 
ь Е. (= | (1+ ; } Е 
Дифференцируя эту формулу, находим плотность величины Т: 
- \-п/ 
ва (1+5) 
Постоянная а легко определяется из условия Рь (°) =1. Для вычис- 


ления интеграла ‘достаточно сделать замену переменных {5ф == 
= #/ Ий-Ё и принять’ во внимание, что Г (1/2) =.Ул. Тогда 
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УЗО НР ДЕЛИ ЦИ ОКТ ТИ РЕЕСТР ОРУНТ С У ФЕРИСРАЕ УЧЕТ УВИР 5 


получим а = 


+ - | 
Ра = от тя) = (14) _ 


Это распределение, часто встречающееся в математической статис- 
тике, называется распределением Стьюдента или, короче, Т-распре- 
делением. Величина Т, определяемая формулой (13), называется 
стьюдентовым отношением *). Число к=п—| называется числом. 
степеней свободы [19, 115]. 

Полезно отметить, что распределение стьюдентова отношения Т 
не зависит от. функции р (и). Для любого случайного вектора Х, 
распределение которого обладает шаровой симметрией, случайная 
величина Т имеет Т-распределение (14). 

Пример 13. В условиях примера 12 найти совместное распре- 
деление случайных величин И=Х и $=ХТХ —ипХ?, 

По формуле (9) находим. 


Ро (и, 5) = р (хГх) ах. 
. х<и 
= х' хп? < 


Выполнив ортогональное преобразование предыдущего примера, по- 
лучим 


=— 


иУ п 


В. (и, = \ 4 (... | РТУ) ща... Ч, 
=: +... 5$ ы 


НЙ ЧЕКЕ с 
После ‘замены переменных у. =0Во, ..., Ип=Ви, В2--... Ви =1, 
так же как в предыдущем примере, получим 


иИУн о У$ нЕ : 
Рис Дай | о" -2р (ра) ар» 
| ее 


где с определяется из условия Ро (<, ®) ==1. | 
Доказать, что при любой функции р (9) случайные величины И‘ 
и 5 не коррелированы_и что они независимы тегда и только тогда,› — 
когда р (0) = (@лВ)-"/*е-°/2В. = 
ример 14. Показать, что если совместное распределение 
п-мерного вектора Х и т-мерного вектора У обладает шаровой сим- 
метрией в (п-- т)-мерном пространстве, то случайная величина 


В 
Е ии м 


3 


*) Стьюдент (бет) — псевдоним английского ‘ученого Госсета 
(\. $. @0$зе{). . 
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где 


ых п : т 
= 1%“ д 
== Хр, У=— Ух, 
| т = 
° Р=1 
— имеет Т-распределение с п-- т—2 степенями свободы: 


г") Ар 
ие=—— бух (1+5) *в=1+т-2. 00 
УлЕГ (>) 

2 
Пример 15. Пусть Х — случайная пх т-матрица, т< п, Х—. 


матрица-строка, элементами которой служат средние арифметические 
элементов соответствующих Оно матрицы Д: 


5 ] | | 
№ р... №. 
9=1 
Случайная величина 
Тт=Ипи—1) Х$-ХТ. 5 ХТХ—пхтХх, (17) 


называется обобщенным стьюдентовым отношением. Для любой слу- 
чайной матрицы Х, плотность которой определяется формулой 


(ХХ =р (и хСхТ), ее 48) 


где р(и)— любая функция (конечно, удовлетворяющая условию, 
чтобы функция [1 (х) была плотностью, возможно содержащей б-функ- 
ции), С — положительно определенная симметричная матрица, а г А — 
след матрицы 4, случайная величина Т имеет плотность 


П 
ка. 27% 
5 о та (14-^) 21 
ге ег (5) Г ("=") а \ п—1 (). 
#7. 


(19) 


В частном случае при т=1 это распределение совпадает с распре- 
делением абсолютной величины стьюдентова’ отношения (13). 
Пример 16. В условиях предыдущего примера найти совмест- 
ное распределение случайного вектора (матрицы-строки) Х и слу- 
чайной матрицы 9. Показать, что они не коррелированы при любой 
функции р(и) и что они независимы тогда и только тогда, когда 
р (и) = УТС 2л)ите- м. | 
Пример 17. Пусть Ж. и А.— случайные матрицы ий Хтип.хт 
соответственно, Х: и Х›— матрицы-строки, элемецрами которых служат 
средние арифметические ыы соответствующих столбцов матриц 
СХ, ЗЕ АИ ХЕ 2), Н=5$.-- 5$». Показать, что 
если. распределение блочной (или матрицы |. Е ‚|, 
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\ 


определяется формулой `(18), то случайная величина 


| пт (ти —2) Хх = ЗУ г Фе т 
И = и ЕЕ (Хх: —Х.) (50) 
имеет плотность (19), где‘ ип =. п.— 1. те 
Пример 18. Если в условиях примера 15 За = 
= Ис /@л)ите-“/?, а С=К-*, то плотность ЕЕ $ опре- 
деляется формулой / 
п-1 п-т 


о  - 


в области положительно определенных матриц $ пространства квад- 
ратных матриц порядка т и равна нулю вне этой области. Через 
|К| и |$| в формуле (21) обозначены соответственно определители 
матриц К и $, а : 
1 
бпе — Е 


Распределение, определяемое плотностью (21), называется рас- 
пределением Уишарта. Оно играет большую роль в математической 
статистике [104, 105]. 

Пример 19. Если в условиях. ИМЕЛ 15 5$’ =ХТХ, то отно- 
шение определителей матриц $ иэ’, И=|5$|/5'’|, имеет плотность 


п 
„ а п-т т ее 
вн ПЕ > 
и рег" - т : 
\ 2 |) 
Это В-распределение с параметрами а и 9 = т/2 в. 
мер 2.9). 
Пример 20. а - распределения РГР, (Хх) скалярной слу- 
чайной величины Х непрерывна. Найти. рт ИЕ случайной 


величины У =Р, (Х). 
При любом УЕ, 1] событие: У=Р, (Х) < у происходит тогда и 


только тогда, когда Х < Е (и). Поэтому 


Ее (и) = СЕг = при уЕ(О, 1]. 


При у=— <0 событие У =Р, (Х) < у невозможно, а при и > 1 — досто-` 
верно., Поэтому РЁ. (у) =0 при у=0 и Ро (и)=1 при и > Г. Таким 
образом, при любой непрерывной функции распределения Р! (х) слу- 
чайная величина У = Е (Х) распределена равномерно на интервале 
[0, 1]. | 
Предлагаем читателю ‘самостоятельно найти распределение слу- 
чайной величины У=Р, (Х) в случае, когда функция распределения 
Е, (х) имеет разрывы. Найти плотность величины Ав этом случае. 


2.3. Приведение случайного вектора к вектору с не- 
зависимыми координатами. Рассмотрим п-мерный слу- 
чайный вектор Х= |{Х,, ..., Х.Ь У которого непрерывны 
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— функция - распределения ГР, (х,) первой координаты и 


условные функций распределения Р,(х,|х,), ... 
ме... Этому условию, в частности, 


_ удовлетворяет любой случайный вектор, плотность кото- 
_рого не содержит 5-функций. Во, многих задачах теории 
вероятностей и ее приложений оказывается полезным пре- 


образовать случайный вектор так, чтобы в результате 
получить вектор с независимыми координатами. 

На основании результатов п. 4.4.5 эта задача легко 
решается для нормально распределенных векторов при- 
менением каноничёских разложений, в частности‘ разло- 
жения по собственным векторам. | 

№ Для преобразования случайного вектора с произ- 


вольным распределением, 'удовлетворяющим поставлен-` 


ным условиям, можно воспользоваться результатом при- 


_ мера 20. Введем случайные величины 
У, = Р.Х, ЕВЕ 


Е Хо) © 


Так как Р; (х,), Е» (хь | 1), + -., Ры (Хы | Хау +. х„-1), рас- 


сматриваемые как функции первого аргумента, представ- 


_ляют собой непрерывные функции распределения, то по 
‘доказанному в примере 20 случайная величина `У, и все 


последующие случайные величины У,, независимо от зна- 
чений '/,; ..., И, [0,1] предыдущих величин У., ... 
--., У: (#=2,..., п), распределены равномерно на ин- 


, 


_тервале [0, 1]. Таким образом, условное распределение 


каждой величины Г, не зависит от значений и, ..., И,-1 
предшествующих величин. Следовательно, совместная 
плотность величин У,, ..., У, равна произведению их 
плотностей. Отсюда по доказанному в п. 4.2.3 вытекает, 
что случайные ‘величины У,, ..., У, независимы. < 
Итак, формулы (23) решают поставленную задачу — 
определяют такое преобразование случайного вектора Х, 
в результате которого получается вектор У с независи- 
мыми и вдобавок равномерно распределенными на интер- 


вале [0,1] координатами: (отсюда следует, что вектор У 


равномерно распределен в п-мерном кубе со сторонами 


[0, 1] по всем осям). Обратное преобразование, опреде- 


ляемое рекуррентными формулами 


Х=ЕИ(У,), Х,= ЕР (УХ, ... - 


А = Ри (У, Хь --, А--ь), (24) 
дает выражение координат вектора Х через независимые 
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равномерно распределенные на интервале .[0, 1] случай- 
ные величины У|, ..., У. 

Теперь мы можем найти такое преобразование слу- 
чайного вектора Х, в результате которого получается 
случайный вектор 2 с независимыми координатами, 
каждая из которых Э 
‘имеет наперед задан- 
ную функцию распреде- 
ления. | 

№ Пусть С, (2.1), .... АСЕ ней, 
‚..., @,(2„) заданные _ | 
строго возрастающие 
‘функции распределения. - 
Определим координаты 
вектора 2 уравнениями 


= | 
(Е о 1, о п), (25) Рис. - 
где У,,`..., У, случайные величины, определямые 


формулами (23). Так как функции @., ..:, С, по усло- 
вию строго возрастающие, то формулы (25) устанавли-. 
вают взаимно однозначное соответствие между величина- | 
ми У,, ..., У», с одной стороны, и величинами 2,,.... 

.., („, © другой. Очевидно, что случайные величины 
0,; ..., , независимы как функции независимых слу- 
чайных величин У., ..., У, (п. 4.2.5), и функцией рас- 
пределения величины #, служит С, (2,). Действительно, 


Р-Р, 6, (2) = 
= Р(У, < С, (2,)) = Сы (2). < 


Таким бо Ьи, формулы (23) и (25) определяют. 
преобразование случайного вектора Х, в результате 
которого получается вектор 2 с независимыми коорди- 
натами 0,, ..., 0(,„, имеющими заданные функции рас- 
пределения С, (2,), ..., С, (2„). Обратное преобразование, 
определяемое рекуррентными формулами 


Хх, = РГ (6, (2,)), Х, = Е; (6, (2,) | Х,), | =— 
о ВА Е. а 

выражает вектор Х через вектор 2 с независимыми коор- 

динатами, имеющими заданные функции распределения. 


На рис. 20 показано соответствие между значениями х» 
И 2, случайных величин н Хь и 2,. | 
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Заметим, что в случае, когда функция распределения 
одной из величин Х,, ..., А, сохраняет постоянное 
значение на каком-нибудь интервале, взаимная однознач- 
ность соответствия между векторами Х и У и векторами 
Х и 1 нарушается. В этом случае формулы (24) и (25). 
не определяют значения х вектора Х при некоторых 
значениях у вектора У. Однако это не существенно, 
потому что каждый ‘интервал постоянства функции рас- 
пределения представляет собой множество нулевой веро- 
ятности, с которым можно не считаться. Впрочем, можно 
принять, что в данном случае формулы (24) и (25) для 
соответствующих у определяют весь интервал постоянства 
функции распределения. 


$ 3. Плотность функции случайного аргумента 


3.1. Метод сравнения вероятностей. В $ 2 мы научи- 
лись находить функцию распределения функции случай- 
ного аргумента, а затем дифференцированием функции. 
распределения определять плотность, если, конечно, она 
существует. Однако часто целесообразно непосредственно 
находить плотность функции случайной величины по дан- 
ной плотности величины-аргумента. При ‘этом на функ- 
цию ф(х) ‘придется наложить дополнительные ограниче- 
ния, одной ее измеримости в общем случае недостаточно. 
Мы будем предполагать, что функция ф(х) имеет кусочно 
непрерывные первые производные по всем координатам 
вектора х и не постоянна ни на каком множестве зна-_ 
чений аргумента х, имеющем отличную от нуля вероят- 
НОСТЬ. 

_ > Согласно общему принципу п. 2.1 вероятность по- 
падания случайной величины У=ф(Х) на любое мно- 
жество В равна вероятности попадания величины Х на 
прообраз множества В, Ав=4{х: ф(х) ЕВ}. Выразив эту 
вероятность через плотность Г, (х) о величины Х, 
получим 


Р(РЕВ)-Р((Х)ЕВ)-Р(ХЕА- {| 4х. 7) 


Ав 
С другой стороны, 


РЕВ) = (1.4, _ © 


где 7, (у) —неизвестная плотность случайной величины У. 
Сравнение формул (27) и (28) показывает, что для опре- 
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деления `/, (у) достаточно заменой переменной преобра- . 
зовать интеграл (27) в интеграл, р АН на. 
область В. | — 

Предположим сначала, что векторы Х и У 
имеют одну и ту же размерность п и уравнение у=ф(х) 
при любом у имеет единственное решение х в области 
возможных значений случайной величины Х (в области, 
где плотность [| (х) отлична от вул Для этого необ- 
ходимо и достаточно, чтобы якобиан координат вектора 


а) : 5). 
Рис. 21. 


ф<(х) по координатам вектора х сохранял знак в области, 
где [,(х) >0, и обращался в нуль только в изолиро- 
ванных точках этой области. На рис. 21 дана иллюстра- 
ция для случая скалярных Х и У. Сделав в формуле (27) 
замену переменных у=ф(х), х=ф-\ (у) и приняв во вни- 
мание, что область интегрирования А в перейдет при этом 
в В, будем иметь 


Рив (Атм = 9 


где / (у) —якобиан координат вектора х = ф-1 (у) по коор- 
динатам вектора и: 


— 


ду" ду" 
ПЕНИЕ: 
п -°9ы фа 9я*) __ НЫ а — | (30) 
д (ит, ...) Уп) дфя" р дфл" | 
| д ` ду | 


(производная функции ф-*(у) в случае скалярных Х 


и У). Сравнив (29) с (28) и приняв во внимание, что обе 


эти формулы справедливы для любой области В, полу- 
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чаем. следующее выражение для плотности ео 
величины У=ф(Х):. 


(и) =Р у, _(81) 


Предположим теперь, что размерность т вектора 
У=Ф(Х) меныше размерности 1 вектора Х, т< и, и 
уравнение у=ф(х) при всех у имеет единственное реше- 
ние относительно каких-нибудь т координат вектора х 
в области, где [,(х)>0. Обозначим через х’ вектор, 
образованный этими’ 1 координатами, через х” вектор, 


‘образованный п — т оставшимися координатами Вова Хх. 


Тогда наше уравнение перепишется в виде у=ф\(х’, х”). 


тельно х’. Сделав в (27) замену переменных х' = ф-* (у, х" 
получим совершенно так же, как и в предыдущем случае, 


[=] 


Р(УЕВ) = 49 { 1. (6-1, х), М), хе, (82) 
В ыы 
где / (у, х’)—якобиан координат. вектора х’ = ф-* (у, х" 
по координатам вектора и: ь 


ам _ 9 (91°, = фт.) 

= д (ут, -.., Ут) ^ (95) 
Сравнив (32) с (28), находим ПЛОТНОСТЬ случайной вели- 
чины У: 


со 


= ) В -, дд, аи. 4 (34) 


Эту формулу можно получить также другим путем. 
Дополнив вектор У до п-мерного вектора, добавив к нему 


_ координаты У„-+, =Хич1, ..., У„=А,, приведем задачу 


к предыдущему случаю. Определив по формуле (31) 
совместную. плотность векторов АЕ Е.А 
можем после этого найти плотность вектора. У по фор- 
муле (4.9) интегрированием. по х” по области всех воз- 


можных значений случайного вектора ХА”. 


, 


Пусть х, —=ф-* (у, х”) — решение этого уравнения относи-. 


‚ Если векторы Х и У= ф(Х) имеют одинаковую раз-_ 


мерность п, а уравнение у=ф(х) при каждом у имеет 


конечное ИЛИ счетное множество: решений относительно х 


в области возможных значений вектора Х, то область. 


интегрирования Аз следует разбить на части, в каждой 
из которых содержится не больше одного решения этого 
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уравнения, а затем выполнить соответствующую замену 
переменных в каждом из полученных интегралов. Пре- 
доставляем читателю самостоятельно найти плотность 
случайной величины У=ф(Х) таким путем. Мы решим 
здесь эту задачу более удобным для данного случая 
методом сравнения элементов вероятности. 

3.2. Метод сравнения элементов вероятности; Метод 
сравнения элементов вероятности основан ‘на выборе 


07, | 45;ат, 4%; х 


Рис. ив 


в качестве множества В бесконечно малого элемента ду 
пространства значений случайной величины У и нахож- 
дении вероятности попадания величины У=Фф(Х) в этот 
элемент. Множитель при ау будет в:этом случае иско- 
мой плотностью случайной величины У =Ф(Х). 

№ Предположим, что векторы Х и У имеют одина- 
ковую размерность й и уравнение у=ф(х).при каждом 
у имеет множество решений ф;' (у), ГЕ Г (и), в области 
возможных значений величины Х (т.е. в области, где 
|, (Хх) =2 0). На рис. 22 дана иллюстрация для случая 
скалярных величин Х и\У (на: рис. 22, как мы видим, 
Гу) = {1, 2, 3, 4, 5, а Г(у’)=\1, 2, 5}. В этом: случае - 
элемент вероятности- |. (и)4у равен сумме элементов ве- 
роятности, соответствующих всем элементам ах;, [Е [ (у), 
пространства значений величины Х, объединение которых 
и собой прообраз элемента ау (рис. 22): 


Ба = р ра 


Подставив сюда выражения х; через у, х,=ФР (и), и 
‚выражения элементов 4х; через ау, Ах; = (и) | ау, где 
1, (и) —якобиан координат вектора х;=фг. (у) по коор- 


= 
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у ая >. ых 


динатам вектора и (производная функции 97) в слу- 
- чае. Е Хи У), получим после нения на ау 


(и) = РЯ (фт: (и) 17: (9). 4 (35) 


Метод сравнения элементов вероятности представляет 
собой сокращенную форму следующей последовательности _ 
вполне строгих операций: 1) вычисление вероятности 
попадания величины У =Фф(Х) в бесконечно малый объем 
Ду ее пространства значений, содержащий данную точ- 
_ ку и, с помощью интегральной теоремы о среднем зна- 
чении; 2) вычисление таким же путем вероятности по- 
падания величины А в объединение элементарных объ- 
емов Алх;, ГЕ 1[(и), ее пространства значений, представ- 
ляющее собой прообраз Ду, 


Е 8 
е1 (и) 

3) приравнивание полученных таким путем вероятностей; 
4) нахождение выражений элементарных объемов Ах, 
через Ау; 5) деление полученного равенства на- Лу: 
6) переход к пределу, когда элементарный объем Ду 
стягивается в точку у, с попутным доказательством су- 

ществования предела. 
№ В случае, когда вектор У =ф(Х) имеет размерность 
тп, а уравнение у=Фф(х) не имеет единственного 
решения относительно 1 координат вектора х ни при 
каком выборе этих координат, следует дополнить вектор 
У до п-мерного добавлением координат Уи. = Хачу, ... 
..., У,=А,», ВЫЧИСЛИТЬ ПЛОТНОСТЬ ПОЛУученного п-мер- 
ного вектора по формуле (35), а затем интегрированием 
по вектору и={у„.:, ..., У! найти плотность величи-_ 
ны У. В результате ее формулу 


|=) 


Гф- У рр, 9, че, 9 80 


—ФТЕ/ (и, и) 


где ф;' (и, и), ГЕГ(у,. и), — решения уравнения и - 
относительно’ вектора х "=, ..., Х„} в области воЗ- 
можных значений величины Х, а У; (и, и)—якобиан ко- 
ординат вектора х;= ий (1, и) по координатам векто- 
ра у. < 

> Рассмотрим, наконец, случай, когда вектор У = = Ф(Х) 
имеет. размерность т > п. В этом случае вектор У можно . 
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‘ 
Г. 


— 


представить как совокупность п-мерного вектора У’ =, (Х) 
и (п—п)-мерного вектора У” =, (Х). При этом разбие- 
нии вектора У (его замене проекциями ‘на два взаимно 
дополнительных подпространства) следует ВКЛЮЧИТЬ В. у” 
такие координаты вектора У, чтобы уравнение и’ == фу (х) 
имело единственное решение х в области возможных зна- 
чений величины Х, если, конечно, это возможно при каком-_ 
нибудь. выборе п из т координат вектора У. Если — 
‘уравнение имеет единственное решение х=фу"(и’), 
плотность случайного вектора У’ можно вычислить по 
формуле (31). Что. касается вектора У”, то, подставив 
‚В У" =: (Хх) выражение Х=ф,;!(У’), получим У” = 
= ф, (ф;* (У’)). Таким образом, У” представляет собой 
вполне определенную функцию случайной величины У’, 
и, следовательно, условная плотность У” при данном 
значении у’ величины У’ представляет собой 6-функцию 
6 (и’—ф», (фг' (у’)))..На основании теоремы умножения 
плотностей (4.23) плотность составного о - век- 
тора У выразится в этом случае формулой 


У =т (ФГ (917 416" — ©, (Фи). Р вт) 


`® Если уравнение у’=ф,(х) при любом выборе п из 
‚т координат вектора у имеет множество решений фр (и’), 
[Е1(и’), в области возможных значений величины А, 
то вектор. У” ‘при данном значении -и' вектора У’ имеет 
дискретное множество возможных значений ф, (фиг (и’)), 
ТЕ1(и’), вероятности которых определяются формулой 


Кд В) 


р: = 
> нана Хо ри. 
Г (и’) _КЕГ(иу’) 


КЕ 


Следовательно, условная плотность вектора У” при дан- 
` ном значении у’ вектора У’ согласно (2.24) равна. 


Р- ПУ 6 "6 (9 
У НЕ) 11: 4) | 
1Е1 (и’) 


Умножив эту условную плотность величины У” на плот- 
ность величины У’, ‘вычисленную по формуле (35), най- 
дем плотность случайного вектора г. 


ЬЬ (у) тс ("у У; (и’) В `(у’))).(38) 
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Пример 21. Найти распределение 5-й степени случайной ве- 
личины Х, У=Х$ ($— натуральное число). Е 
При нечетном $ уравнение „=х’ имеет единственное действи- 


тельное решение х=и!/$ при’ любом у. Поэтому плотность величины 
У = °® можно найти по формуле (31)? 


1 
ее 9. 


При четном $ уравнение у=х° имеет два действительных рейения 

х= ут/ при у=0 и ни одного при у < 0. Поэтому для нахож- 

дения плотности величины У = Х® придется применить {чормулу (35). 

В результате получим | 
х 1 1 1 

1 д], о 

Г И Ей у 1 (5). 


В частном случае величины Х с плотностью‘ 


| И и е. ры 
7 
‚и У=Х? полученная формула дает 
ы. 1 (9) ЕЕ у : 
ие. 
(9 


Таким образом, в этом случае величина У=)? имеет у?-распре- 
деление (11). Поэтому распределение величины Х с такой плотно-. 
| стью [ (х) называется х-рас- 
пределением. 

Пример 22. Найти плот- 
ность случайной величины 
У = с0$ Х при равномерном рас- 
пределении величины Х в ин- 
тервале (—л, л). 

В данном случае при каж- 
дом значении и, |И|< 1, 06б- 
ратная функция имеет две вет- 
ви: фт (у) =агссоз у, фа" (у) = 
= — агссо$ и (рис.23). Формула 
(35) дает 


= 


Рис. 23. 


Распределение вероятностей, определяемое этой формулой, называется 

распределением арксинуса. Оно характерно для ошибок угломерного 

прибора с эксцентрично закрепленным по отношению к оси вращения 

визирного устройства лимбом (диском, на котором нанесена шкала). 
Пример 23. Найти плотность функции 


^.У=дХ*-АХ 
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случайной | величины Х, равномерно распределенной В интервале 
(0, а), А <а. 
_ В данном случае обратная функция имеет две ветви 


ен и ы=ь- Е 


при — ^А*/4 <у<ди одну только первую ветвь при 0 <у< а*—^а 
(рис. 24). Поэтому в правой части формулы (35) будет два слагае- 
мых при — /*/4 < у <0и одно пеар слагаемое при 0 < и < а*— Ра. 
В результате получим 


_ | «УРА 4 е 
Ё, (У = 1 ] | | 
— при О<и<а*—№а. =: 
С ал 4и | 


_ Вне интервала (— #?/4, а*— Ка) рь (у) =0. р 
Пример 24.°`В условиях примера 11 найти распределение - 
случайной величины 
Е 33 в 
Е --4 
Так как уравнение /=^2// при любом / имеет единственное решение 
2=1/А, то плотность в (}) величины Е можно определить по фор- 
муле (31). Подставив в`нее вместо’ Г. (х) выражение (12) плотности 
[> (2) величины 2, получим 


г. 


те 
поно ‘(+ 10.09 
2 2 


Это распределение тоже часто встречается в математической статис- 
тике и называется Р-распределением с Г и Е степенями ‘свободы. 
Распределение величины И = 
—= п [/2 в частном случае, ког- 
да Х и У— независимые слу- 
чайные величины, имеющие /?- 
распределение соответственно 
с ки /[ степенями свободы, бы- 
ло впервые’ найдено Фишером 
[112, 113]. Распределение ве- 
личины РЁ при тех же условиях 
получено Снедекором [99]. 

При 9 (=се`*/? при соот- | 
ветствующем выборе с из полу- 
ченного результата следует, что _ _Рис. 24. 
отношение ‚бвих независимых 3 
величин с у?-распределением, деленных на соответствующие числа 
степеней свободы, имеет Е-распределение с этими числами степеней 
свободы. Этим и ‘объясняется широкое распространение Р-распреде- 
ления. 


5 


7 


_ Интересно отметить, что предельные случаи Ё- -распределения 
при А = ® и при /[= представляют собой у-распределения вели- 
чин Р и Е-1 соответственно: 


] 1/2 по-ь 1 си 
и -0=(+)” Ру", 


ее ва Иа — А/2Р. 
=) таз °_ 


В предельном случае при =1=® |, = (1. 


При мер 25. В условиях примера 15 случайная величина 


— 
их 


а пи) хз ‚хт 
$ ии т 


независимо от вида функции р(и) имеет Р- -распределение сти 
п— т степенями свободы т ны 


Пример 26. Если величина Ё имеет Е-распределение Йь (), 


_то величина И = (1-|-1Ё/*)-* имеет В-распределение с параметрами- 


р=^/2, 9=1/2 (пример 2.9), а величина М=Р (/1-- Е)-* имеет 


_В-распределение с параметрами р = 1/2, 4=#/2. 


Отсюда следует, чтоесли величина У имеет В-распределение с парз- 
метрами р, д, то величина Ё == (^/1)У (1—И)-* имеет Р-распределение 


р, = (1), авеличина С =А (1 —У) ЛУ имеет Р-распределение а, ор (2). 


Пользуясь этими соотношениями и соотношением между Ри Т 
примера 25, можно вычислять функцию распределения и плотность’ 


для Е-распределения и обобщенного Т-распределения (19) с помощью 


программы ВОТК вычисления функции распределения и плотности 
для В-распределения [94]. 

Пример 27. Найти распределение полярных координат точки 
на плоскости К, ©, если известна плотность [1 (х, у) декартовых 
координат Х, У. 

В данном случае 


в=Ф (Х, = ИХ У, @=фь(х, Е | 
причем угол 9 ‘лежит в первой четверти при Х > 0, У > 0, во вто- 


рой при Х < 0, У >00, в третьей при Х <0, У «див четвертой 
при Х >0, У < 0. Уравнения г= Ух у?, 0—=агсёе (у/х) имеют 


‚единственное решение х=г с03 9, у=г эп @ при любых г>0, 


9210, 2л). Поэтому 


_ | соз 6 —зт0| , 
р = 5 0 гсоз0 | —^ 


и формула (31) дает : 
[5 (г, 0) ЕК (/ соз 0, гзп 0). 


Отсюда интегрированием по @ или по г находим соответственно 
плотность }з (г) рае вектора А случайной точки и плотность 
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Н (0) полярного угла 9: 


: _2л 
5 (^)=7 (| с05 0, п 0) 40, 
0 - 


[4 (6) = \ г| (г со$ 0, гзп 0) 4/. 
в |. 


В частном случае распределения с круговой симметрией Е(х, и = 
= (и) и полученные формулы принимают вид 


Ват 9, НФ (та. 


Таким образом, в случае круговой симметрии распределения на. 
плоскости полярный угол ны равномерно в интервале 
[0, 2л), и следовательно, {4 (0) =1/2л при 910, 2л). Впрочем, это. 
ясно и из интуитивных соображений. 

В случае нормального. распределения с круговой симметрией 


В (и) = Фр) тео и формула для {; (г) принимает вид 
3 (т ее г>0. 


Это распределение называется распределением Рэлея. 

Аналогично в случае нормального распределения с шаровой. 
симметрией в трехмерном пространстве получаем для радиуса -век- 
тора К распределение Максвел 


В =У2т8 не" а 


Если ‘распределение на плоскости имеет круговую симметрию 
с центром, смещенным относительно начала координат, то, выбрав 
соответственно оси координат, будем иметь }1 (х, и) =й ((х— а)? у?) и _ 


—2л 
В (^)=т \ Й (г? — 2аг соз 0-- а?) 46, 
0 
[а (0) = \ ГВ (г? — Заг соз 9 -+ а?) аг.. 
0 


В частном случае нормального распределения й (и) = 
= (2л2)- ый. формула для [; (г) принимает рад 
ЕЕ а? аг 
: = =, 2п >. со5 0 
г) ==—ке | г. :- 40. 
[з ( ) 2яр \ : 
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Интеграл В этой формуле не сводится к элементарным ‚функциям. 
_ Его можно у ыразите через бесселеву а 


- РВ нае — 1} ( исоз0 
ы == | е ве Г е 49. 
0 се .. 
В результате получим 


в=-те Е . (7) (40) 


Распределение, определяемое этой формулой, называется нецентраль- 
ным распределением РЭэлея. 

Пример 28. Найти плотность случайного вектора У = АХ-с, 
если известна плотность [1 (Х) вектора Х. 

В случае, когда векторы Х и У имеют одинаковую размерность 
пи ранг матрицы > равен и, уравнение и==Ах-Ёс имеет единст- 
венное решение х== А-1 (у— с) и формула (31) дает 


ы = ‚ (А-1 (у—0), 


р 
ИТАР 
_ где | А|-- определитель матрицы А. 
В частном а нормального распределения вектора Х ($ 4.4) 


Н ТТ гы: |6" =") Кх ии) 


и полученная формула дает 


| Г 
"И УрУТкПАР 


Жехр те 25 А А) А- икРА-ту-е— Ань) 


Это нормальное распределение, причем математическое ожидание 
вектора У Вано. т,=Ат,--с, а его ковариационная матрица равна 


Ку —=АК,А" в полном соответствии с формулами (3.49) и (3.50). 

Предоставляем ЕЕ самостоятельно рассмотреть ‘случай, 
когда размерность вектора ранг матрицы А равны т < п, слу- 
чай, когда. размерность ет У равна. т=—<<тп, а ранг матрицы 
А равен г < т, и случай, когда т > п. Доказать, что во всех этих 
случаях при нормальном распределении [, (х) распределение ]. (и) 
тоже нормально (является вырожденным нормальным распределением 
при г < ти при т > п. 

Таким образом, случайные величины, полученные в результате 
любых линейных преобразований нормально распределенных случай-. 
ных величин, распределены нормально. Этот важный результат 
имеет большое значение ‘для теории вероятностей и ее применений. 
В частности, отсюда следует, что коэффициенты канонического раз- 
ложения нормально распределенного случайного вектора, в частно- 
сти его разложения. по собственным векторам, распределены нор- 
‘мально (имеют совместное нормальное распределение). А так как 
из некоррелированности координат нормально распределенного слу- 
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чайного вектора следует их независимость, То коэффициенты кано- 
нического разложения нормально распределенного случайного век- 
тора всегда независимы. ы 

Из результатов этого примера вытекает также следующее 
обобщение теоремы $ 4.4: проекции нормально распределенного слу- 
чайного вектора на любые подпространства распределены нормально. 


Пример 29. Случайный вектор Х распределен нормально, 


причем ранг г его ковариационной матрицы К, меньше его раз- 
мерности п. Найти плотность вектора Х. : 

Мы знаем ($ 3.3), что в этом случае вектор Х имеет вырожден- 
ное нормальное распределение (4.62), которое полностью сосредото- 
чено на г-мерном подпространстве, образованном первыми г собст- 
‘венными векторами матрицы К», сдвинутом на вектор т» (если ту 
не принадлежит этому г-мерному подпространству). На основании 
результатов предыдущего примера распределение вектора Х можно 
выразить через распределение в этом подпространстве. 

Пусть Ф — матрица, столбны которой представляют собой, как 
ивп. 4.4.6, ортонормированные собственные векторы Фф1, ..., Фи 
матрицы Ку. Эта матрица ортогональна, вследствие чего ее опреде- 
литель равен единице, | Ф|=1. На основании результатов преды- 
дущего примера случайные величины Ив= ФА (Х—т,.) (&=1,...,т) 
независимы, имеют нулевые математические ожидания и дисперсии, 


авные соответственно г отличным от нуля собственным значениям. 


1, ..., Ар Матрицы Ку. Поэтому распределение вектора Х® = Х— т, 
в Г-мерном подпространстве, образованном собственными ‘векторами 
ф1, ..., Ф‚, определяется плотностью | 


| Е 4] 
“ ны. @% —— а 
| Ин о», ы 2 р» № | 


Случайные величины Ив= ФЕ Хо (Е=/-^1, ..., п) имгют нулевые 
математические ожидания. и нулевые дисперсии, вследствие чего они 
с вероятностью 1 равны 0. Поэтому их плотности представляют. 
собой 6д-функции 0 (ик) (В =Г-1, ..., п). Следовательно, плотность _ 


п-мерного случайного вектора И = [И1... и определяется ФОорыУ ОЕ 


пе нана 
|1 (и) = У бл)... ехр |-3 ож б (и, + 1). г .6 (ив). 


Ра 


Это вырожденное нормальное распределение в пространстве значений: 
случайного вектора Х, в котором за оси координат приняты направ- 
ления собственных -векторов матрицы Ку. Пользуясь формулой (31), 

находим плотность случайного вектора СХ: 


{ п ехр ри) у Фе. =. › х 
ео У бл”... А, 2 . М2. ОЕ 
8 (и — т, 8 (Те м,)). м) 


Мы получили прут форму вырожденного нормального распределе- 
НИЯ, отличную от (4.62). 
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— 1 Предоставляем читателю самостоятельно показать, что в случае 
_ _  Гжй формула (41) совпадает с формулой (4.51), определяющей 
° плотность п-мерного нормально распределенного вектора. 


Пример 30. Пусть Х и У — две случайные величины (скаляр- 


ные или векторные одной и той же размерности) с совместной 
плотностью }; (х, и). Найти плотность их суммы =Х-У 

Так как уравнение 2=х--у при любом 2 имеет единственное 

не _ решение как относительно х, так и относительно у, то можно вос- 

=. пользоваться ори (34). В результате получим 


` 


[= [®] 


о Бо= легок реле 


В. частном. случае независимых слагаемых {; (х, и) =! (х) в. (и 


[2 = |=] 
— © ; -_-© 


. : : ‚$9 

Интегралы такого типа- называются сверткой функций 61 и и 
обозначаются #:*+6.. Таким образом, плотность суммы независимых 
случайных величин равна свертке плотностей`слагаемых, [= 61*8.. 
== Так как сумма неслучайных. величин не может быть случайной 
величиной, а любая неслучайная величина имеет плотность, пред- 
ставляющую собой 6- ная то из (43) следует, что свертка двух 
б-функций является д-функцией: 


ыы ‘ ` 
— Е \ 6 (х— а) 6 (2--х— 6) ах=6 (2—а— 5). (44) 


— = 


= 


Это свойство 6-функции можно также вывести предельным перехо- 
дом, с помощью которого ’б-функция определена в приложении 1. 

_ Из общего результата примера 28 следует, что свертка двух нор- 
оных равпределений представляет собой нормальное распределе- 
ние. ‚Предлагаем читателю самостоятельно получить этот результат 
по нае (43). 

Пример 31. Найти плотность суммы двух независимых слу- 
- чайных величин, имеющих у?-распределения с А и [ степенями сво- 
ре боды соответственно (пример 10, ры (11)).. 

‚В данном случае 
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= \ афее-дж= \ ве-уы фа. 63) 


а 


и формула (43) дает 


2 | 
1(2) Е г р ее 
[» (2) = ЕЕ. | ] ы (2—5) её а а 
г (РРР | 
а г(з)г(=) 1 - 
! Е а а 
т Е Е г. = |" (1—и)2 4 
- ИЗ 1 
О В 


Последний интеграл представляет ‘собой так ‘называемую бета- 


функцию: 
1 


| ир-ти-и-4и = В Оо. 
0 ь : 


Пользуясь этой формулой, получаем 


Е 
к 1(2 =— 1 -—2 
ро" е ы а 


ст 


Таким образом, сумма независимых случайных величин, распределен- _ 


ных по закону у, также имеет у? - распределение с числом степеней 
` свободы, равным сумме чисел степеней свободы слагаемых. | 
Пример 32. Найти распределение суммы 2 независимых слу- 
чайных величин Х и У, распределенных по закону Пуассона с пара- 
метрами А и ц соответственно. 
В данном случае 


(=) [2 9) 
АА 
а =У, Авив. &з4у) = Е ги в) 
#=0 > в=0 
И формула (43) дает 5 


Е [з (2) = -х т. - е-^-м { бе #) ах =. 


я -- АРил й 
Е —/^,-и 
пения ° ве 1). 


Собрав вместе слагаемые, соответствующие. одинаковым значениям 
ое ЕЕ =т, имея в к что 


к И | 
р: Е = | 
‚> им К! м т ит И (т— Ги Е ве и. 
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ОЕ 


лы | —_ д 
С % А-ь)® —о 
ы = 


Таким образом, сумма независимых случайных величин, распределен- 
ных по закону Пуассона, также распределена по закону Пуассона 
с параметром, равным сумме параметров распределений слагаемых. 
== Пример 33. Вектор Х имеет нормальное распределение с ша- 
ровой симметрией в п-мерном пространстве, причем дисперсии всех 
координат вектора Х равны 1. Найти распределенне случайной вели- 
чины У=ХТАХ, где А— неотрицательно определенная симметрич- 
ная На, ранга г < п, обладающая свойством идемпотентности 
А?=А. : 

Матрица А представляет. собой матрицу ортогонального проекти- 
_ рования на некоторое г-мерное подпространство. -А так как проек- 
ция нормально распределенного вектора на любое подпространство 
’ распределена нормально, причем шаровая симметрия распределения 
при ортогональном проектировании сохраняется, то на основании 
результатов примера 10 интуитивно ясно, что распределение вели- 
чины У представляет собой у?-распределение с г степенями свсбоды. 


Чтобы строго доказать это, приведем матрицу А ортогональным пре-. 


‚ образованием к ‘диагональной. форме. Так как ранг магрицы А равен 
г < п, то п-—г собственных значений матрицы А будут равны нулю, 


Ат+1=... =Ан=0. Пусть ф:,...,Ф„— ортонормированные собствен- 
ные векторы матрицы А, Ф— пхг-матрица, столбцами которой слу- 
жат собственные векторы $ф1,..., ф», соответствующие отличным от 


нуля собственным значениям Л:,..., А;, Фо—пжх(п—г)-матрица, 
столбцами которой служат собственные векторы Фр+1,..., Фи, с0ОТ- 
ветствующие нулевому собственному значению, Л — диагональная 
матрица порядка г с элементами ^:,...,А,;. Гогда можем написать 


АФ—ФЛ, АФь 0. 


Так как по условию А?-—А, то на основании первого из этих соот- 
ношений А?Ф = ФА, ас другой стороны, А?Ф = А (АФ) = АФЛ =ФА?. 
Таким образом, Л -=А*, что для диагональной матрицы возможно, 
только если Л представляет собой единичную матрицу порядка г, 
А =/,. Таким образом, АФ =Ф и. матрица А выражается формулой 


Ч ГФГ- 
лю ол" °] [91| -оот 


Рассмотрим теперь случайный вектор И =ФТХ. Его ковариа- 
ционная матрица на основании (3.50) равна К„=ФТА‚Ф =ФтТФ, 
так как по условиям задачи К „=/. Но ФТФ =, в силу ортонор- 
мальности собственных векторов фу, ..., фи. Поэтому Ки„==/,. Наконец, 


ИТКи И =ОТИ = ХТФФТХ = ХТАХ =У. 


Таким образом, интересующая нас случайная величина У представ- 
ляет собой квадратичную форму, которая с коэффициентом 1/2 стоит 


в показателе степени в выражении нормальной плотности г-мерного. 


вектора И. Следовательно, по доказанному в примере 10 величина У 
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имеет Хх: а с г степенями свободы: 


Е 
М 


_В (у) = 


Ш 


_ Доказать, что и в более общем случае, когда Х имеет распре- 
деление М (0, К,) (может быть, и вырожденное), случайная вели- 
чина У =ХТАХ имеет х?-распределение с г степенями свободы, если 


матрица В =К, 1/2АКИ/? представляет собой матрицу ортогонального, 


проектирования на некоторое г-мерное подпространство (т. е. имеет 
ранг г и обладает свойством идемпотентности В? = В). . 


Пример 34. В условиях предыдущего примера найти распре- 
деление случайной величины У = ХТХ —пХ?, Х = (1/п) У Хр 
В данном и 


У у жа Е ХьХа = ХТАХ, | 
р=1 а] 


где я | 
В 
п п п 
а: 
д = п > п. 
м 
Ел п: п_| 


Эта матрица имеет ранг г=я—1, и 4*=А. Следовательно, вели- 
чина У, согласно результатам примера 33, имеет 7? -распределение 


сг=и— | степенями свободы: 
\ п-3 


: 1 3 
1 та С 
ни о в" 


— п— 1 
Г =) 


Пример 35. Пользуясь формулами (31), (34) — (38), показать, 
что формула (3.6) ‘дает для математического ожидания функции 
У=Фф(Х) случайной величины Х то же значение, что и формула (3.3): 


. 0 ‚ 99 


му мех = Г оыьо= (9.4. 


— © — < 


Пример 36. С помощью формул этой главы доказать теорему 
п. 4.2.5: если величины _ 1, ..., Хр Независимы, то’ и случайные вели- 
чины У=Ф! (Х1), ..., Уря (Х,) независимы при любых функциях 
А ПОМОЩЬЮ формул (31), (34) —(38) это доказывается для 
дифференцируемых функций Фл».,.› Фи» а с помощью формулы (2) —_ 
для любых измеримых УВЕВИЙ Е 
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Пример 37. Если расположить значения п независимых ска-. 
лярных случайных величин Х|,..., Х„, имеющих одну и ту же 
функцию распределения Р (х), в порядке возрастания, то у-е по 
порядку значение называется у-м нижним значением, а у-е в порядке 
убывания называется \-м верхним значением. Найти распределения 
у-го нижнего И и %-го верхнего У значений. —®— 

В данном случае проще всего применить метод сравнения эле- 
ментов вероятности. Вычислим элемент вероятности величины (И, 
соответствующий бесконечно малому интервалу (и, и-|- 4и) (т. е. ве- 
роятность попадания у-го нижнего значения И в этот интервал). 
Чтобы величина И попала в интервал [и, и--4и), необходимо и 
достаточно, чтобы какие-нибудь У—1 из п величин А1, ..., Ан при- 
няли Значения, меньшие чем и, одно значение попало в интервал 
[#и, и аи), а остальные п—уУ. приняли значения, не меньшие чем 
и--аи. 

Таким образом, мы имеем схему повторения опытов с тремя 
несовместными событиями, образующими полную группу, А!=={Х < ц}, 
А. ={Х = и-Е аи} и ее < и-- 4и}, вероятности которых при 
одном опыте равны соответственно РЁ (и), 1-2 (и) и [| (и) аи (с точ- 
ностью до бесконечно малых высших порядков). Поэтому для вычис- 
ления искомой вероятности можно применить формулу (1.36) для 
полиномиального распределения при г =3. Тогда получим 


п! $ 
г (и) ди = Свет. ге ИЕ (и)]"- а а (и) ди. 
Эта формула Е плотность %-го нижнего значения (: 
п! Аня 
т —1 я > 
В -В=ие=л^ тег” 90 Е (и) "1. = (46) 
Точно так же находим плотность у-го верхнего значения У: 
п! 
|. а а тела У (5) @=Е (9) (о). (7) 


|: частности, при \*={ отсюда получаются формулы для плотностей 


наименьшего и наибольшего значений = шш Х»,У= тах Е. 
1<&<п 1<Е< 


р (и =л 1-Е (и) (и), БФ=лЕ-1 0) 10). © (48) 


_Для нахождения совместной плотности у-го нижнего и \-го верх- 
него значений ПО, У при *=— 1/2 достаточно заметить, что для попа- 
‘дания И в интервал (и, и-- аи), а У в интервал (о, 9-40), ози, 
‘необходимо и достаточно, чтобы какие-нибудь У—1 из величин 
Х1,..., Хи приняли значения, меньшие и, какие-нибудь у— 1 дру- 
тих приняли значения, не меньшие о-+ 4, п 2% попали в интервал 
[и-- аи, и), одно попало в интервал [и,*и--4и) и одно в интервал 
_ [9, 9-- 40). Таким образом, задача сводится к схеме повторения опы- 
‘тов с пятью событиями, вероятности которых равны Р (и), 1—Р (3), 
Е (\)-—Е (и), Г(и) аи, ТР) 4. Пользуясь формулой (1.36) при г=5, 
получаем после сокращения на ди 40 следующее выражение для сов- | 
местной плотности у-го нижнего и у-го верхнего значений Ц, у: 


п! 
Е рИ-и ^О- — — 
РР ПЕРО. 9) 


< 
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Последний множитель 1(0-—и) добавлен потому, что событие У < И _ 


при у= 1/2 невозможно, вследствие чего | (и, 9) =0 при и < и. 
В частном случае при у=1 из (49) получается формула для сов- 
местной плотности наименьшего и наибольшего значений И = пип Хь, 
1<<п 
У= шах Хы 
1<2<п = 


и, пе Р®-Е ФГ 6-0. 60 


П р имер 38. В условиях предыдущего примера найти распреде- . 


ление разности между \-м верхним и у-м нижним значениями $ =У — (0. 

Так как уравнение 5=о—и при любом $ имеет единственное 

решение о==и-|-$, то на основании (34) плотность величины $ опре- 
деляется формулой 


Подставив сюда выражение (49) функции /(и, 9), получим 


5 65) Г 5) | ЕУ-1 (и) [Е(и--)— 


6-е @— 


В = | Ли, 94. = 61) 


ИЕ Ра Ги ва (52). 


В частном случае при у=1 отсюда получаем плотность так на-. 
зываемой широты разброса п независимых случайных величин _ 


5= шах Х,— шш Хр (широты выборки в Да статистики): 
- 14 2<л 1<Е<п 


ВО =и(и—09 | Р-Р 607 и 9. 63) 


3.3. Применение. дельта-функции. Еще один метод 
нахождения распределений функций случайных величин 
_ основан на применении 6-функции. 

№» Если У=Ф(Х), то величина У при любом значе- 
нии х величины Х. имеет единственное возможное значе- 


ние ф(х), и условная вероятность этого значения при. 


данном х равна 1. Поэтому условная плотность величины У 
при Х=х представляет собой 6- -функцию: 


(у [х)=6(у— -Ф (х)). 


Следовательно, совместная плотность величин Хх иуУ=ф (^) 
оп ределяется формулой 


Г(х, д.8 49) 
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_ Отсюда, выполнив интегрирование пох в соответствии 
ьы — 9), находим плотность случайной величины 7: 


ь®= Г 506 —ед) ах. 4 `(54) 


‚ Эта формула определяет плотность величины У=Ф(Х) 
как в случае скалярных, так и в случае векторных вели- 
чин Х и У. Она особенно удобна для нахождения плот- 
ности функции случайной величины в случаях, когда 
функция Фф(х) имеет ‘постоянные значения в некоторых 
областях пространства значений величины Х, вероятно- 
сти попадания в которые отличны от нуля. В таких слу- 
чаях формула (54) автоматически дает линейную комби- 
нацию соответствующих б-функций в выражении плотно- 
сти [, (у), в то время как формулы (31), (34) —(38), так 
же как и метод сравнения элементов вероятности, оказы- 
ваются неприменимыми (следует отметить, что формула (9) 
справедлива и в таких случаях). 

_ Предоставляем читателю самостоятельно вывести из (54) 
формулы (31), (34) —(38), выполнив интегрирование после 
соответствующей замены переменных и, если потребуется, 
разбиения области интегрирования на части. 


Пример 39. т распределение выходного сигнала ограни- 
чителя (пример 2.15), если дана плотность }1 (х) входного сигнала Х. 
В примере 2.15 мы нашли плотность выходного сигнала У, опре- 
‚ делив сначала его ‚функцию распределения (т. е. применением фор- 
мулы (9) к данной частной задаче). Сейчас мы решим эту’ задачу, 

_ пользуясь формулой (54): 


1 ее: 
— вод 8 их \ пфви-д | рОви-дф-= 


_х® —а а 


= Фо } По -—9 \ Во4х. 


_© 


Прим ер 40. Найти распределение суммы: 2 независимых слу- 
чайных величин Х и У, распределенных равномерно на интервалах 
(—а, а) и (—Ь, 6) соответственно, в > а. 

По формуле (54) находим 

52а . 
вещ | | И 


—а - 
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Так как точка 2—х расположена в интервале (— 6, 65) только при 

—хЬ>0, 2—х—Ь < 0, то интеграл по переменной у равен раз- 

ности единичных ступенчатых функций Е-хЕО—Цё—х— 5) = 
а < 


ЬР (й— Е 5 Е В 
ри. 

Подынтегральная функция здесь отлична от нуля только ‘при 2—ь< 
< х<2--65. Интервал (2—6, 2-|- Ь) не пересекается с интервалом интег- 
рирования (—а, а) при 2 < —а—6 и при 2 >а--Ь, 

(2—6, 2-5) П(-а, д=(—а, г). при 2Е(—а—6, а— 5), _ 
(2—6, 2-Е ГП (—а, а) = (—а, а) при’ г Е(а—6, 6—а), 

(2—6, 2+5) П(—а, а) = (2—6, а) при 2Е(Б—а, а-- 5). 
Поэтому }» (2) =0 при |2] > а-ЕЬ, | 


п @- 6+2) при 2Е(— а—6, а—5), 
5-1 = при 2Е(а—ь, 6—а), 
| +62) при. 2Е (6 —а, а--5). 


„ & ; ® к * « < 
График этой плотности показан на рис. 25. 


3.4. Применение характеристических функций. В неко-' 
торых случаях для нахождения распределений Е 
случайных величин целе- 4 
‚ сообразно применение ме- 
тода ва 
функций. 

Рассмотрим случайную 
величину‘ -У=ф(Х), где 
ф (х) — любая функция (из- 
меримая, см. п. 2.2.). 
Согласно определению. 7 
(4.63) характеристическая Рис. 25. 
НЕВЫ 2, (^) величины У дается формулой: 


х 
ух ; Т 
в Ме у = Ме = ею р (4х, (55) 
и 
где |. ие случайной величины Х. о 
таким путем характеристическую функцию величины У, 
можно по формуле (4. — найти ее плотность: 


[* 2) 


а ев... = - (56) 
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 ПоеавиЕ и ыранение (55) 1 В - (66), изменив ав 
порядок. интегрирования и приняв во внимание форму- 
‚лу (15) приложения 1, вновь получим (54). 


Пример 41. Найти распределение суммы двух независимых 
величин Х иУ, распределенных райНомерно в интервалах (— а, а) 
° и (—Ь, 6) соответственно, а < 6. 
Формулы ВЕ и (56) _ 


р мы =— : Ни е-—1\2 4), | ` её № (х+у) а 


ОЕ. НЫ 


—. | 


А2 


>. не п ла 5 А я | УП т Ла эт АВ с0$А2 — = с05А2 
—_ блаь г- — лаб 
— 59 


© 


= | р (@—5-- 2) са (а—6—^А— 


— с05 ЕГО \) —с0$ @-+ь—2) 1 2 72. 


Отсюда на основании известной формулы 


© _ 

1 —<05 “и л. 
10а ЦП {#4 
аще! 


получаем 
ь@) = фекьзанано аа аа 21. 


_ Этот результат совпадает с результатом примера 40. 
: Пример 42. Координаты случайного вектора Х независимы 
и имеют ‚распределение № (0, 2). Найти совместное распределение 


_ величин Хи $=Х ТХ—пХ?, где Х — среднее арифметическое коор- 
- динат вектора Х. | | 
По формуле (55) находим 


(а, №3) = МейьХ+ 0,5 — 


=— 


== = } = рых [Ао (|х и | х в} ах. 


Замена переменных и= Ах, где Ар— ортогональная матрица, все эле- 


_ менты первой строки которой равны 1/У п, дает У пх=и, и ин- 
теграл преобразуется к произведению п интегралов Е 


8 (№, Аз) = 


о 

: 1. 1— 210; | 

С ги} 
.— © а 6 | 


5 


210. 


НЯ формулой (1) приложения 2, получим 
а з п-1 


———— = —_— 


8 (Л,, ^5) 2 5 (1204, > . 


Отсюда в силу свойств 6) и 3) характеристических функций и фор- == 
мул (4.68) и-(4.69) при и =л/2—1 и А=1/2 следует, что величины Х 
и_5 независимы, Х имеет распределение М (0, О/п), а $/В— Х? -рас- 
пределение с и степенями свободы. 

Пример 43. Строки пхт-матрицы.Х представляют собой не- 
зависимые 7-мерные векторы, имеющие одно и то же распределение 


№ (0, К), Х—матрица-строка, элементами которой служат средние 
арифметические элементов соответствующих столбцов матрицы Х (при- 


мер 15). Найти совместное распределение величин Х и5=Х "х "ХТ. 
По формуле (55) находим 


а(^!, А) = Ме Хм +1 {г 8 


: = = 
] | : — Зе - Е 
= \ ер ЦА НА, (хГх — пхТх) — 
[(2л)” | К 11" 9. ›\ и т 
а —— Е хК-1х7Т „ах, 


где \, — матрица-столбец тж1, а ^›— симметричная тХ т-матрица. 
Применив ортогональное преобразование предыдущего‘примера к каж-_ 
ыы столбцу матрицы х, получим 


7 [* =) 


| - п 
А , А, Е т ее кода че | ет ——— 1 ау» 
В луки). 2 -у ик ут} ых 
тра : - Е 
х ево] , 


где у— матрица-строка 1|Хпт. Пользуясь формулой (2) приложения 2, 
получим окончательно 


пе КН 1—2), |- (п- 2): ВВ у 


— 7-м К и —2К%,|- -и-1)/. 


Отсюда в силу свойств 6) и 3) характеристических функций и (4. 70) 


следует, что величины Х и $ независимы, причем Х имеет распреде- _ 
ление М(0, К/п), а характеристическая функция величины 5 опре-_ Е 
‘деляется формулой ы 


«®Ю=И-2КА| и = © 


где » — симметричная тхХ т-матрица. “Чтобы найти распределение = 
величины -$, остается заметить, что &; (^) абсолютно интегрируема, 
и применить формулу (56). В результате после довольно громоздких = 
выкладок получим для © распределение Уишарта, опрёделяемое — 
_ плотностью ит (5) (пример 18) [105]. = 


и, № =е 
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п ример 44. Совершенно так же в. Ех примера 43 нахо- 
Дим распределение величины 5’ = ХТХ: 


` 1 к А р АхГх— - {г хк-1хГ 
[(2л)” | К |]"/? ) | 


Ах =. 


Е, (А) = 


г | 3 


> г: НЕ 


Сравнивая эту формулу с (57), видим, что величина $’ имеет распре- 
деление Уишарта &и+1, т а : 


- 5. Метод моментов. ре а Ф(л) ограничена, 
то для нахождения распределения величины У =Ф(Х) по 

данному ЕН величины Х можно применить 

метод моментов. : 

По доказанному в п. 4.5. 3 распределение ограничен- 
ной случайной величины полностью определяется ее мо- 
ментами. Поэтому в данном случае достаточно вычислить 
моменты величины У =Фф(Х). - 


‚ Пример 45. В условиях примёров 43 и 44 найти распределе- 
ние отношения. определителей матриц 5 и 5’, И=|5|/5' |. 
Заметив, что 


[5' |1 78-152), | — (68) 


и приняв во внимание положительную определенность матрицы $, 
приходим к выводу, что | 5’ | =| 5 |0. Таким образом, распределе- 
ние величины У полностью сосредоточено на интервале [0,1]. Следо- 
вательно, распределение величины У полностью определяется ее мо- 
ментами. - 

Для вычисления моментов величины И выведем сначала формулы 
для моментов величин |5 | и | 5’ |. На основании формулы (21), опре- 
деляющей плотность ии (5) матрицы 5, 


с 1 ы 
М | $ ИИ ит > 1 ее Е ик т 
(2" Кр 
_ Заметив, — что а функция, умноженная на 
Бе Кр а представляет собой плотность * 
и+2г, т (5), получаем 
Г (“= — 
: 2 
м $ 7=(2”| К уе = Уи П (59) 


ры г(" >) 


при ` любом г > —(п— т)/2. Так как распределение матрицы $’ по 


доказанному в примере 44 определяется плотностью +1, ш (5'), то 


` ДлЯ нахождения моментов определителя |5’| достаточно заменить 
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ак. 


в (59) п на п-- 1. В ое будем иметь 


| р и 
НКУ ДЕН (60) 
+ = о 


при любом г > — (п--1— т)/2. 
Перейдем теперь к вычислению моментов величины У=| 5 |/ 35: [. 


Заметив, что в силу (58) У= (1-- 7х5 -1ХГ)-1, т.е. представляет 
собой функцию величин и > пользуясь ваааиной в примере 43 _ 
совместной плотностью Хи $, можем написать 


= т. )* И а Ех 


К ЯК-Я а 
в о = 


а 


ы ба |— 5 т 
"Кр" Ил” .).) [5 г 
Ве КРК 
6:9 $ ‚ 42 45. 


Последний интеграл, умноженный на 


. т О 
Сп+аг, т (2” |К]) и 


представляет собой М | 5’ |-7 в случае, когда п заменено на п-- 2г. 
‚ Следовательно, для вычисления этой величины достаточно применить 
формулу (60), заменив в ней п на п--2г иг на —г. В. ‚результате 
получим - 


: ик Я п п—т а: 
Спит т (>) . 2 +/)- 

С С Е г 
паг, т а: 48 1 ( 5 ) Г (5+) 


‚Сравнив эту формулу с формулой примера 3:19 для моментов В-рас- 
пределения, приходим к выводу, что величина У имеет В-распределе- 
ние с параметрами р == (п— т)/2 и 9 = т/2. Этот ‘результат совпадает 
с результатом примера 18. Однако там этот результат был получен 
для произвольной функции р (и) примера 15.’Здесь же он па 
для частного случая нормального распределения матрицы Х. 
Заметим в заключение, что в силу (58) величина У связана 
с обобщенным стыюдентовым отношением Т (пример 15) зависимостью 


= 


Пользуясь этой зависимостью и найденным распределением вели- 
чины У, можно ‘легко получить результат примера 15 для частного 
случая нормального распределения матрицы Х. 


МУ! = 


913 


$ 4.- Предельные теоремы 


4.1. Простейшая предельная теорема. Метод характе- 
ристических функций удобен для нахождения предель- 
ных распределений функций неограниченно возрастаю- 
щего числа случайных величин. Мы применим его для 
доказательства простейшей предельной теоремы. 

Если {Х,} — последовательность независимых величин, 
имеющих одно и то же распределение с математическим \ 
ожиданием т и ковариационной матрицей К, то последо- 
вательность распределений. случайных величин | 


я 


ь. 


> (№-.. . Хи), №=АХ,—т о 
сходится к.нормальному распределению М (0, К). 

}> ППусть 5 (^) — характеристическая функция каждой 
из величин Х,. На основании (4.65) и (4.66) характеристи- 
ческая функция 5, (А) величины 2, определяется формулой 


оу [в (99) 


Отсюда находим т: о 
"АТт ок 2 
п» п | утв (уг). 61 


\ 


Но на основании (4.92) _ 


| — ЙТт _ МКА ТА. [2 
шв (у=)= ты.) 
Подставив это выражение в (61), получим 
| | А. |? 
ша, (2) = = АКА о по =”) 


Отсюда видно, что 


шо, (^) ет. при п-—+ о. 


Таким ‘образом, &,(^) стремится. к. характеристической 
функции нормального распределения № (0, К) при каж- 
дом ^. Можно доказать, что отсюда следует сходимость . 
‚ последовательности распределений величин 2, к М (0, К). 
[17, 44]. ч 

Доказанная теорема, очевидно, справедлива и в том 
случае, когда ранг ковариационной матрицы К меньше 
размерности 1 величин Х,. В этом случае предельное _ 
распределение М (0, К) будет вырожденным. | 
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Пример 46. В примере 3.11 было показано, что биномиальное 
распределение можно рассматривать как распределение суммы неза- 
висимых величин Ху, ..., Хи, каждая из которых имеет два возмож- 
ных значения О и |1 с вероятностями 9 ==! —р и р соответственно. 
Каждая из этих величин имеет математическое ожидание т=р и 
дисперсию ДР =рд. На основании доказанной теоремы распределение 
случайной величины 

ЕЕ ит + ... Хи — пр) 


стремится к М (0, ра) при п —> < (теорема Лапласа). 


Пример 47. Так как среднее арифметическое Х независимых 
одинаково распределенных случайных величин Х;, ..., Хр» связано 


с величиной Д„ соотношением Х =72,/Уп-- т, то по Ва тео- 


реме величина Х распределена асимптотически нормально М (т, К/п). 
Пример 48. В примере 3.13 было показано, что случайный 
а 240, координатами которого служат числа появлений значений 
х1, ..., ХМ. Дискоетной случайной величины х в одном {-м опыте, 
имеет математическое ожидание р=[1...РмМ Ги ковариационную_ 
матрицу К = — ррТ, где р1, ..., ри — вероятности значений х;, ... 
.‚› Хм соответственно, а Л — диагональная матрица с элементами 
1, -..› ВМ. По доказанной теореме случайный вектор 


где 7 Вектор. ыы которого служат числа появлений 
71, ..., м значений х:,..., Хм при п опытах, распределен асимпто- 
тически нормально № (0, А— Е Отсюда следует, что вектор частот 


В= Ру... РТ значений х!, ..., хм, равный РБ = ИГУ п-Ер, рас- - 
пределен асимптотически нормально М (р, (А—ррТ)/п). 
Рассмотрим теперь случайный вектор У с координатами У), = 


= (2. — р.) ИУп/ру (У=1, ..., М). Математическое ожидание век- 
тора` У равно нулю, а его  ковариационная матрица Ко У 


Зе - 
К=и—94т, 9=[Ирт... Ир. 


Согласно полученному результату распределение вектора И стремится 
к №(0, К.) при п->®. Найдем асимптотическое распределение _ 
случайной величины” 


Р. 
У =п „у 2.2 ( У = —ИТу 
У=1 Ру 
‚при п —> ®. Для этого воспользуемся последним результатом при- 
мера 33. В данном случае матрица А представляет собой единичную 
матрицу порядка №, а В=К1/1К1/? =Ко=1!— 947 имеет ранг М—1 
и представляет собой матрицу ортогонального проектирования, так 
кака 9—2 (И р," => р, =1 1 и, следотательно, (997)? =49 (91749) а7= 
== 041 х 
Ко—=1—2497 + (997) =1—9497 = Ко. 
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7 : ‹ а - х 
% 


Согласно последнему результату примера 33 величина У =УТИ имеет. 
асимптотическое распределение у? с М—1 степенями свободы. 
Координаты вектора У связаны очевидным скалярным соотноше- 


нием 97И =0, вытекающим из равенств ЯР. => р, =1 (напомним, 
что 4— вектор с координатами Ур, ..., Ирл). Именно поэтому 


ксвариационная матрица вектора У имеет ранг М-— 1. ° 

Теорема о сходимости распределения величины: УТУ к у?-распре- 
делению с ЛМ—|1 степенями свободы была доказана К. Пирсоном 
[72, 73]. 


4.2. Значение предельных теорем. Из доказанной пре- 
дельной теоремы следует, что распределение суммы слу- 
чайных величин Х,, ..., А, при достаточно большом п 
как угодно близко к нормальному М (Ут. пК). 

Теорема о сходимости последовательности распределе- 
ний надлежащим образом нормированных сумм центри- 
‚рованных случайных величин к нормальному распределе- 
нию при весьма общих условиях распространяется на 
случай независимых величин Х, с различными распреде- 
лениями, а также на случай зависимых величин Х, 
[54, 55, 17, 44, 120]. | 
_ Предельные теоремы образуют обширный раздел сов- 
ременной теории вероятностей. Они объясняют причины 
широкого распространения нормального распределения и 
механизм его формирования. На основании предельных 
теорем можно утверждать, что во всех случаях, когда 
случайная величина образуется в результате суммирова- 
ния большого числа независимых или слабо зависимых 
случайных величин, дисперсия каждой из которых мала 
по сравнению с дисперсией суммы, распределение этой 
величины оказывается практически нормальным. 


— 


Глава 6 


ОЦЕНИВАНИЕ ПАРАМЕТРОВ РАСПРЕДЕЛЕНИЙ. 


$ 1. Основные задачи математической статистики | 


1.1. Определение статистических характеристик из 
опыта. Для получения исходных данных для вероятност- 
ных расчетов, так же как и для получения исходных дан-. 
ных для любых других практических расчетов, приходится 
обращаться к опыту. Методы анализа результатов опытов 
и определения по ним вероятностей событий и характе- 
ристик ‘случайных величин дает математическая статис- 
тика —обширный раздел современной теории вероятно- 
стей. 

Из нашего подхода к определению основных понятий 
теории вероятностей в предыдущих главах непосредст- 
венно вытекают и способы определения основных статисти- 
ческих характеристик из опыта. Так, мы знаем, что за 
вероятность события можно. принять его частоту при 
большом числе опытов, за математическое ожидание. и 
дисперсию случайной величины — выборочное среднее и 
выборочную дисперсию, за ковариацию и’ коэффициент 
корреляции двух случайных величин — выборочные кова- 
риацию и коэффициент корреляции. Наконец, плотность 
случайной величины можно определить как относитель- 
ную плотность экспериментальных точек в соответствую- 
щих интервалах. Однако при этом остается много неясных 
вопросов. При любом измерении или экспериментальном 
определении какой-либо величины всегда возникает во- 
прос о точности определения этой величины. Так и в на- 
шем случае прежде всего возникает вопрос: с какой 
точностью мы получаем вероятность события, принимая 
за нее частоту этого события? Что надо сделать, чтобы 
повысить точность определения вероятности события? 
Сколько нужно произвести опытов, чтобы получить ве- 
роятность события с заданной‘ точностью? Подобные во- 
просы возникают и при определении ‘характеристик слу- 
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_ чайных величин. Все эти. вопросы’ необходимо уметь 
‘решать, чтобы знать, насколько можно доверять полу- 
ченным из опыта данным и основанным на них расче- 


там, полагаться на них в нашей практической деятель-_ 


ности. 

Прежде всего, ясно, что не может быть речи о точном 
определениц вероятности события по конечному числу 
опытов. Конечно, случайно частота события может ока- 
заться равной его вероятности. Но это маловероятно и 
обнаружить это совпадение невозможно. Частота события, 
полученная в результате опытов, практически всегда 
отличается от его вероятности. 

Однако и о приближенном в обычном смысле опреде- 
лении вероятности события по результатам опытов гово- 
рить не приходится. Говоря о приближенном определении 
‚ какой-либо величины, мы ‘обычно подразумеваем, что 
можно указать пределы погрешности, из которых ошибка 
не выйдет. Частота же события случайна при любом числе 
опытов из-за случайности результатов отдельных опытов. 
Так, например, если мы будем много раз определять 
частоту одного и того же события, скажем появления 
‘герба, по результатам 100 опытов, то будем получать 
различные значения частоты этого события. Из-за случай- 
ности результатов отдельных опытов частота может до- 
вольно значительно отклоняться от вероятности события. 


Поэтому, определяя неизвестную вероятность события. 
как частоту этого события при большом числе опытов, мы. 


не можем указать пределы погрешности и гарантировать, 
что ошибка не выйдет из этих ‘пределов. Из-за случайно- 


СТИ резул льтатов опытов полной гарантии, что ошибка не. 


выйдет из любых заданных пределов, быть не может. 
Поэтому в математической статистике обычно говорят не 
о приближенных значениях неизвестных Рраичин, а об их 
подходящих значениях, оценках. 

В дальнейшем мы будем называть все подлежащие 
определению величины — вероятности событий, числовые 
характеристики и распределения случайных, величин — 
статистическими характеристиками, а найденные по 
результатам опытов их значения — оценками. 

Оценив ‘по результатам опытов ту или иную статисти- 
ческую характеристику, естественно поставить вопрос: 
насколько согласуется с опытными данными предположе- 
ние (гипотеза) о том; что неизвестная характеристика 
имеет именно то значение, которое получено в результате 
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тя 
ВИЗ 


Кош бы абы 


<>. 


ве. оценивания? Так возникает НорОй важный класс задач 

математической статистики — задачи проверки гипотез. 
Таким образом, основными задачами математической 

статистики являются разработка методов нахождения оце- 


нок и исследования точности их приближения к оцени- 


ваемым КР и р ‘методов провЕрЕ 
гипотез. _ 


1.2. Виды вероятностной сходимости. В главах 1 и3З 
_ на основе интуитивных представлений мы пришли к вы- 


воду, что при увеличении числа опытов п`частоты событий 


и выборочные средние значений случайных величин 


должны приближаться к соответствующим вероятностям 
и математическим ожиданиям. Однако вследствие случай- 
ности результатов опытов о сходимости в обычном смысле 


здесь говорить не приходится. В связи с этим возникает. 


необходимость введения новых понятий сходимости и пре- 
дела, отличных от принятых в элементарном математиче- 
ском анализе. 


Последовательность случайных величин 191 назы- 


вается сходящейся в среднем’ квадратическом (с. к. сходя- 


щейся) к случайной величине $5, если М|5$,—$52-—0 


при п оо. 

Последовательность случайных величин {5$,} назы- 
вается сходящейся по вероятности (п.в.) к случайной 
величине 5, если при любом в > 0 


`` Р (5$, —$|>2:)-—0 при п-+о. —- 


Последовательность случайных величин {5,} назы- 


вается сходящейся почти наверное (п. н.) к случайной 


величине $, если Р($,—+5)=1. 
Эти определения относятся как к скалярным, так и 
к конечномерным векторным случайным величинам. В по- 
следнем случае |х| означает модуль (норму) вектора х. 
Так как любую неслучайную величину можно рассмат- 
ривать как случайную величину с единственным возмож- 
ным значением, имеющим вероятность, равную единице, 
то приведенные определения относятся и к сходимости 


последовательности ‘случайных величин к а - 


величине, в частности к нулю. 

1.3. Неравенство Чебышева. Связь между разными 
видами сходимости. Интуитивно ясно, что всякая с.к. 
сходящаяся последовательность сходится к тому же пре- 


делу и П. 86. Для доказательства выведем сначала одно. 


важное в тбории вероятностей неравенство. 
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= 


№» При произвольных > О ир>0 для любой слу- 
чайной величины Х (скалярной или векторной) имеем 


Р(Х| >) = | ах <-> | ТЕР сд ах< 


1х | >е х|>е 
[9 


ъ 


а: | 
= хех ах=-М| Хр. 


& 


= 
_© 


Здесь в первом и втором интегралах ‘неравенство под 
знаком интеграла означает, что областью интегрирования 
служит множество всех х, удовлетворяющих этому не- 
равенству. | 

Таким образом, при любых # > 0, р>0 


Р{Х| >) <-,М|ХР. 4 (1) 
„Это неравенство обычно называется неравенством Чебы- 
шева. `При практическом применении этого неравенства 
число р>0 выбирается так, чтобы было М | Хр < оо. 
Применив. неравенство (1) к случайной величине Х == 
—=%5,—5 при р=2, получаем Е 


Р(|5,—$|>2)<-М13,—56. 


Отсюда непосредственно следует сходимость п. в. всякой 
с.к. сходящейся последовательности. 

Обратное в общем случае неверно. Чтобы доказать 
это, достаточно привести соответствующий пример. 


_ Пример 1. Пусть $„— случайная величина с плотностью. 
= рой г | 
= Тиз пс.) 
(распределение Коши). Так как 

| а пё ы | 
т | , го | 
Р (|5. | < =) = роет | ПИ а В5ВИ, 
= @ — П® 2$ 


при п —* ©, то Р (| 5% |= =) —0 при любом > 0. Поэтому после- 
довательность {5,„} сходится п.в. к нулю. Однако М | $, |? = ® при 
любом п (пример 3.6), вследствие чего последовательность {$„} не 
сходится с.к. к нулю. 


Легко сообразить, что и всякая’ последовательность 
случайных величин {5,\, сходящаяся п.н. к $, сходится 
коне - | 


- 900 


ИЕР 


> Действительно, из сходимости п. н. {$} к $ сле- 


. _.Дует, что для любого = > 0 


Р(|$„—5 |2 хотя бы при одном т > п) — 0. при п — оо. 


Но 
Р(5,—5$]>е 
<Р(|15$,„—3|>2е хотя бы при одном т—> >п), 


откуда и следует ея П. В. последовательности 


{51 ко. 4% 
Обратное в общем случае неверно. 


Пример 2*). Пусть $„—случайная величина с двумя воЗ-_ 
можными значениями 0 и 1, вероятности которых равны соответст- 
венно 1— (1/7) и Т/П, о при любых натуральных п1, ..., Ив 


случайные величины 5. ... о„ Независимы. Последовательность 


^{$„} сходится п. в. к 0, ‘так как при любом г, 0<2< 1, 
| 
Р($»| > 9 =Р (3, ==> 9 при пух: 


Однако эта последовательность не сходится п. н. к 0. Действительно, 
при любом 2, 0<8< 1, 


Р (|$т| <= при всех. = | 5 
5 при всех т, п= ре 


= Прё.-о- а. п М—2 М—1 п | 


— > 
у——— 
—- 
® 


Л Е. 


Отсюда в силу произвольности М следует, что при обОм п вероят- 
ность Р (|$ш|<а при всех тп) меньше сколь угодно малого 
положительного числа. А это и значит, что вероятность сходимости 
последовательности {5} равна 0, т. е. ($и} не сходится п. н. к нулю. 

Заметим, что последовательность {5„} в данном случае с. к. схо- 
дится к нулю, так как М | $, |? =1/п — 0 при п —> о. Таким обра- 
зом, мы имеем пример последовательности случайных величин, схо-. 
дящейся п.в. и с.к., но не сходящейся п. н. 

Пример 3. Пусть $„— случайная величина с двумя возмож- 
ными значениями 0 и п, вероятности которых равны соответственно 
1 — (1/92) и 1/9?. Последовательность {$„} сходится п.в. к нулю, 
так как при любом & > 0 для всех достаточно больших п 


Р (|$.|—==)=Р{5$, 0 при п—> ©. 


Последовательность Вы сходится к О ип. н., так как 
Р (|5$т|-—е хотя бы Е одном т = п) < 


<У рб, =т то. 


т=я 


1 
т? 
*) Примеры 2 и 3 заимствованы из книги Бартлетта [3]. 

[ х , 
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° и, следовательно, Р(|$и| < при всех т= п) —> 1 при й— 0, 


что и доказывает сходимость последовательности {5„} к нулю с ве- 
роятностью |, т. е. сходимость п. н. 


Однако последовательность {$5} не ак с.к. к нулю, так 


как М| $, |? =1 при любом п. 

Пример 4. Пусть $„-— случайная величина с возможными 
значениями О и 1, вероятности которых равны соответственно 
1—(1/1?) и 1/72. `Показать; что последовательность {5„} сходится 
к Оип.в., ип.н., ис. к. 


Приведенные примеры показывают, что последова- 
тельность случайных _ величин может быть сходящейся 
п.в., но не сходящейся с.к. или п.н., может быть схо- 
.дящейся п.н., но не сходящейся с. к. и наоборот. Таким 
образом, как класс с. к. сходящихся последовательностей, 
так и класс пон. сходящихся последовательностей яв- 
ляются подклассами последовательностей, сходящихся 
п.в., причем эти два подкласса имеют непустое пересе- 
чение. ЕЕ т 
Так как в силу (3.29) ‘ ; 


м5, —5Р=2($,—5)+1М5,—М$, (2) 


то для с.к. сходимости последовательности {$} к $ необ- 
ходима и достаточна сходимость последовательности 
математических ожиданий {М5} к М$ и сходимость 
последовательности дисперсий разностей $,„—5 к нулю. 

Из (2) следует также, что для с.к. СХОДИМОСТИ после- 
довательности случайных величин {5,} к неслучайной 


величине а необходима и достаточна сходимость после- 


довательности математических ожиданий {М5} кан 
‚сходимость псследовательности дисперсий 105,„} к нулю. 

Сходимость цо вероятности, сходимость в среднем 
квадратическом и сходимость почти наверное представ- 
ляют собой особые, вероятностные виды сходимости. 


В частном случае последовательности неслучайных вели-_ 
- чин все эти три вида сходимости совпадают с обычной 


_ сходимостью. Таким образом, каждый из трех видов 
_вероятностной сходимости представляет собой естествен- 
ное обобщение обычного понятия сходимости на случай- 
ные величины. 


62. Оценивание статистических характеристик 


2.1. Оценки. В математической статистике обычно рас- 
_сматривают только действительные случайные величины. 
_Это не ограничивает общности, так как любую комплекс- 
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ную случайную величину можно рассматривать как дву- 
мерный случайный вектор с действительными координа- 
_ тами. Поэтому везде в этой главе мы будем считать все 
случайные величины, в том числе и. функции случайных 
величин, действительными. | 

Результаты опытов мы будем везде рассматривать как 
случайные величины. Поэтому будем обозначать резуль- 
таты опытов и все функции результатов опытов большими 
буквами. При практическом применении полученных 
формул следует заменять в них все случайные величины 
их реализациями, полученными в результате опы- 
тов. а 

Любая функция результатов опытов, которая не за- 
висит от неизвестных статистических Е ‘на- 
зывается статистикой. : 

Оценкой статистической характеристики 9 называется 
статистика, реализация которой, полученная в результате 
опытов, принимается за неизвестное истинное значение 
параметра 0. | 

Ясно, что не всякая статистика может служить оцен- 
кой данной статистической характеристики. Поскольку - 
результаты опытов случайны, любая статистика пред- 
ставляет собой случайную величину. Чтобы статистика. 
могла служить оценкой данной статистической характе- 
ристики 0, необходимо, чтобы распределение этой ста- 
тистики было сосредоточено в достаточной близости от 
неизвестного значения 09, так, чтобы вероятность больших 
отклонений этой статистики от 0 была достаточно мала. 
Тогда при’ систематическом многократном применении 
этой статистики в качестве оценки данной характеристики 
в среднем будет получаться достаточная точность. Веро- 
ятность больших отклонений будет мала, и они будут 
встречаться редко. Желательно еще, чтобы при увели- 
чении числа опытов точность результатов оценивания 
увеличивалась. В связи с этим вводят следующие Е - 
ления, касающиеся оценок. 

Оценка статистической характеристики 0 называется 

состоятельной, если она сходится по вероятности к 0 
при неограниченном увеличении числа опытов п. 
.. Чтобы оценка характеристики 9 была состоятельной, 
достаточно, чтобы ее математическое ожидание стреми- 
лось к 6, а ее дисперсия стремилась к нулю при неогра- 
‚ниченном увеличении числа опытов п. Это непосредст- 
_венно следует из результатов п. 1.3. | 
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Оценка © статистической характеристики 0 называется 
несмещенной, ть ее математическое ожидание равно 0 


при любом числе опытов п. Оценка @ характеристики 0. 
называется смещенной, если ее математическое ожидание _ 


не равно 0. Разность М@^—0 называется смещением 


оценки ©. . 

Качество оценки часто характеризуют математическим 
ожиданием квадрата модуля отклонения оценки от оце- 
ниваемой характеристики (средним квадратом ошибки): 


8 =М |9 —6]2. 


В случае несмещенной оценки 0 средний квадрат ошибки 
_6 представляет собой дисперсию оценки 0 в случае ска- 
лярной характеристики 9 и сумму дисперсий координат 
оценки @ в случае векторной характеристики 6. 


Множество чисел 6, соответствующих всем оценкам 9 
данной характеристики 0, при данном числе опытов п, 
как и всякое множество неотрицательных чисел, имеет 
точную нижнюю грань - 


б ‘Ем 18 —0[. 


` 


Естественно стремление пользоваться такими оценками, 
для которых средний квадрат ошибки 6 или равен 6., 
или близок к 6,. Для нахождения таких оценок во многих 
случаях оказывается полезным понятие достаточной ста- 
тистики. 

_ 2.2. Достаточные статистики. Статистика $ (скаляр- 
‚ная или векторная) называется достаточной для харак- 
теристики 0, если при любом выборе другой статистики $°’. 

(тоже скалярной или векторной), для которой не 
существует зависимостей вида ф (5, 5’) =0, условное 
распределение статистики $” при данном значении $ ста- 
тистики © не зависит от 9, Иными словами, статистика $ 
достаточна, если знание значений любых других стати- 
стик не дает никакой дополнительной информации о 09 
сверх той, которая содержится в 5. 

Если достаточная статистика существует, то она не 
‘может быть определена однозначно. 

> Действительно, предположим, что статистика $ до- 
статочна. На основании (4.16) условная плотность лю- 

бой статистики $5’ При данном значении $ величины 5. 
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определяется формулой 


Ср ($10) › 
где (5 $ |6) —совместная плотность величин 5, $', за- 


_висящая от параметра 6, а Я ($10) — плотность вели- 


чины %. Левая часть формулы (3) не зависит от 0 вслед- 


‘ствие достаточности статистики $. Рассмотрим любую 


функцию $5, =ф($) статистики $, такую, что уравнение 
$: = (5) имеет единственное решение $ = ф-?* ($,) в области 


возможных значений величины $. Пользуясь формулой _ 


_ (5.31), находим плотность величины $, и совместную 
плотность величин $;, 5’; м 


81 (5: | 0) =; (ф7* (54) 16) [47 ($1) |, ве 
8 ($1, $ |0) =/(ф-* (5), 5’ |9). (51) |, 
где / (5,)—якобиан координат функции. ф-!1 ($1) по коор- 
динатам вектора $:. Условная плотность статистики 5’ 
при данном значении $; статистики ‘9; согласно А 16) 
ределнется формулой 
(51, 5 [0) _ Ф-4 ву), 5' |6) 
_ в ды ^ъотю 
Сравнив эту формулу. с (3), получаем — 
8. (5' |51) = (5'[Ф-* ($). 


Так как правая часть этой формулы не зависит от 0, то 


Й левая часть не зависит от 0, что и доказывает доста-_ 


точность статистики $, ==Ф (5). > 


Таким образом, любая статистика, связанная с доста- 


точной статистикой взаимно однозначной зависимостью, 


тоже достаточна. - 
Докажем, что если совместная плотность результатов 
опытов Ху, ..., А, может быть представлена в виде 


&(*.,..., х„ |0) = (ф (х,, ...» Хи) |9), 


_ то статистика $=9(Х,,. и. „) достаточна. 


> Пусть- а Е Х„) —любая статистика, для 
которой не существует зависимостей вида 5 ($, 5’) =0. 
Предположим сначала, что сумма размерностей векто- 
ров $ и $’ равна сумме размерностей векторов Х,, ..., ХА» 


и что при любых значениях $ и 5' из областей значений 


_ функций ф и ф уравнения. 
Фи, 3, д) =, (Хе, Х,) = 5 


8$ В.С. Пугачев | т 295. 


ь (19 [ ($, 510) 5' |0) | 28 
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‘имеют множество решений {к (5 Е Ре п}, 
1Е1 ($, 5’). Тогда совместная плотность величин 5 и $’ 
определится по формуле- (5. 34): 

7 (5, = =. 2 (52 (5, 5"), ---, Жо (5, $)19) 11 (5, 5')|, 
где Я ‚(в 5’) — якобнан координат векторных функций 


| Хх) ($, $ '), ок МЕ ВО а векторов 5 и $5, 
| ТЕ (3. $). НО 


вор ая 
о 5"), ..., ХР (6, 5')) 0) =# (510), 


так как ‘функции еж, 5, 
1[&1 ($, $°), удовлетворяют уравнениям } 


Ф(х,, .+> Хы) == 5, ф (х, ..., х„)=5’. 
Следовательно, 


Ге, 5'10)=1 (610) 16,3) 


Отсюда, интегрируя по 5’, находим плотность величины 5: 


: о-в, Е. [У ($, $’) 45’. 
Из. ‘полученных формул следует, что условная плотность 
величины 5’ при данном 5, 


ь (5 |5) =[ 5, 5 ел, (510) 


не зависит от 0, что и доказывает достаточность стати- 
стики 5. 

Точно так же доказывается достаточность статистики 
>= [М .... Х,) в случае, когда сумма размерностей 
векторов 5 и 5’ не совпадает с суммой размерностей 
векторов Х;,..., Х‚». | 

2.5. Доверительные интервалы и области. Как уже 
было сказано в п. 1.], вследствие случайности резуль- 
_Ттатов опытов невозможно установить достаточно узкие 

пределы, ‘из которых ошибка оценки (т. е. отклонение 
оценки от оцениваемой характеристики) не выходила бы 
с полной гарантией. Поэтому возникает задача опреде- 
ления по результатам опытов таких пределов, из которых 
ошибка оценки не выходила бы с заданной вероятностью. 


Например, приняв частоту события Р за оценку. его 
вероятности р, установить по результатам тех же опытов 


226. 


‘такую границу возможных отклонений Р от р, которую 


модуль ошибки |1Р—р| не превосходил бы с заданной 
вероятностью %. Эта граница, естественно, будет тоже 
случайной в силу случайности результатов опытов. Таким . 
образом, речь идет о нахождении по результатам опытов 
такого случайного ‘интервала (т.е. интервала со случай- 
ными концами), который с заданной вероятностью @& 
содержал бы неизвестное значение вероятности р. 


Случайный интервал, полностью определяемый резуль- - 


татами опытов и не зависящий от неизвестных характе- 
ристик, который с заданной вероятностью & накрывает 


‚неизвестную скалярную статистическую характеристику, : 


называется доверительным интервалом для этой характе- 
ристики, соответствующим коэффициенту доверия “. 
Величина | —@ называется уровнем значимости отклоне- 
ния оценки. Концы доверительного интервала называются 
доверительными границами. 

Обобщение понятия доверительного интервала на 
случай векторной характеристики 9 приводит к понятию 
доверительной области. 

Доверительной областью для векторной характери- 
стики 6,' соответствующей коэффициенту доверия %, назы- . 
вается такая случайная область, полностью определяемая 
результатами опытов и не зависящая от неизвестных 
характеристик, которая с вероятностью © содержит неиз- 
вестное значение 0. | 

Очевидно, что доверительная область определяется 
заданным коэффициентом доверия @ не однозначно, су- 
ществует бесконечное множество доверительных областей, 
соответствующих одному и тому же значению 4. Обычно 
стараются определить доверительные области, имеющие 
минимальные размеры при данной вероятности %. Этому. 
условию часто удовлетворяют хотя бы приблизительно 


области, симметричные относительно оценки О характе- 


ристики 9. — 

2.4. Методы определения доверительных областей. 
Для определения доверительных интервалов и _областей_ 
обычно применяются три основных метода. 

Первый метод, удобный в случае положительного ска: 
лярного параметра 9, основан на нахождении распреде- 


ления отношения оценки @9 параметра 0 к самому пара- 
метру’ 9. Если оценка © такова, что это распределение 


не зависит от неизвестных характеристик, то, зная это 
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ое, бк ислам м реф Зы, ак О И А Е ор Чон И 2 чо ль —. че». 71 въ: = рити ще =. “ >>> з д ; == г 

>. 5 В Ач; < р —- „. - дтн ве-< в жчь аще = #2 х -. 5 о Да < _ ыы Мы < 

а о ны К =. 5 аа кои" т а Ч ва к хе гы 
Е р Е енг К, 5 В ее о ЕЕ" р 5% 

\ р 5 : х А 25 : 2 сх Е & ; к # ны з. я : а = : те -: 

2 ь $ “ ии й ”_- - я < : ь = к. 


` распределение, можно найти вероятность попадания от 
ношения 9/0 в любой ин тервал и, ‘наоборот, по заданной 
вероятности © найти интервал, вероятность попадания 
0/0 в который равна %&. Любой такой интервал будет 
доверительным интервалом для 9. Обычно стараются по- 
лучить доверительный интервал, симметричный относи- 
тельно оценки: Однако это не всегда возможно. В неко- 
-- торых случаях нижняя доверительная граница получается 
Е отрицательной, что не имеет смысла. Поэтому довери-. 
тельный интервал для положительного пара метра 9 а 
: деляют формулой 
и. _ шах {0, (1 —=.) 0} <9< (1+ 6) 9. (4) 


© 


$ 


При г. Е (0. 1 этот интервал симметричен относительно 0. 
При =„ > 1 симметрия не достигается. Неравенства (4) 
выполняются тогда и только тогда, когда 


1 
< - 


тах {0, 1—2=} ° 
а формула (4) определяет доверительный интервал 
для 9, соответствующий коэффициенту доверия ©, если 
2 Е ел Ор я рано 


(+= < <вивеЕг) =“. 


= Второй метод состоит в том, что для каждого возмож- = 
ного значения неизвестного параметра 9 выбирают такую 


область, содержащую -9, в которую оценка © попадает 
с заданной вероятностью %. Эта область в общем случае 
зависит от 0 и, конечно, от %. Поэтому мы обозначим | 
ее Д. (6). Тогда можем написать 


Р(9ЕР. (0) =а. 


После этого для каждого фиксированного значения = 
оценки 9_ определяют множество значений параметра 0, 
при которых @ЕР. (0): Это множество {0: ОЕШ. (6)} в ] 
общем случае зависит от 9 ис. _Поэтому мы обозначим | 
его А « (6). Очевидно, что ВЕД» (9) тогда и только тогда, 
когда 9 ЕД. (6) при этом 0. Действительно, если при 
данном значении 6 оценка @ приняла значение бЕД. (6), — 
то по определению области Да (6) данное значение 9 при- : 
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надлежит. А, - 6) 0Е{0: бе. (6)} = =А- (0). Наоберае: если 
оценка © приняла такое значение 0, что ЕД, (6) = 
= {0: бЕР. (0), то ЕР, (6). Следовательно, при любом 6 


_Р@ЕА.(0))=Р (060.6) =. = 0 


Это равенство показывает, что область А. (9) представ- 
_ ляет собой доверительную область для параметра 6, соот- 
_ветствующую доверительному уровню 9. 


Третий метод основан. на нахождении скалярной 


&: 


функции ф (0, ©, 0) оценки 6, некоторой другой стати- _ 


стики 5 и неизвестного параметра 9, обладающей сле- 


дующими свойствами: 
1) при любом значении $ статистики 5 и любом зна- 


чении 09 неравенство ф (6, $, 0) <с;с>0, при возрастании. 
с определяет монотонно возрастающее семейство вложен- 


ных одна в другую областей Д ($, 6, с) = {6: (6, $, 9) <= 
2) ф (9, $, 9) =0 при любых 5, 9 и Ф(б, 5$, 9) >0 при. 


любых 6, $, 0, 0-20, и, следовательно, точка 6 =0 при- 
надлежит` области р ($, 6, с) при любых с > 0, $, 0; 


3) распределение случайной величины Т=ф(6, 5, 6) 


не зависит от 0. Зная распределение величины т—_ 


—=Ф(6, $, 0), можно определить такое е„ > 0, чтобы 
с вероятностью & выполнялось неравенство ф (©, $, 0) га: 


Р($(6, $, 0) <=) =а. 6) 


Эта формула определяет случайную область ф (©, о, 0) < 
< г, накрывающую. неизвестное значение параметра 9 
с вероятностью @, т.е. доверительную область для 9, 
соответствующую “коэффициенту. доверия 4. 

Многомерные доверительные области трудно предста- 
вить наглядно. Поэтому возникает вопрос о нахождении 


таких: доверительных интервалов /, (6), ..., / ‚ (6) для. 
координат 6;, ..., 0, векторного параметра 0, чтобы ве- 


роятность одновременного накрытия всех 0,, ...,,9, соот-- 


ветствующими интервалами была не меньше заданного & 
(т. е. о нахождении прямоугольной доверительной области. 


для 9, соответствующей коэффициенту доверия, не мень- 


шему чем ©). 


Введем события А, —{0, 1, (0) (&=1, ..., г) и обо- 


значим прямоугольную область в г-мерном пространстве, 
— 


> 


ро 


‘образованную интервалами /, (0), ..., [,(9), через / (0). 
На основании принципа двойственности и свойства 
полуаддитивности вероятности (1. 5 


_ Ре иву=Р( п 4») -Р( А, )>1 — У Р(А,. 


=1 


Отсюда видно, что ДлЯ решения поставленной задачи 
достаточно найти доверительные интервалы /, (6), 


‚ 1. (0) для координат вектора 0, ие, ко- 
эффициенту доверия 1 — (1 —@)/г. Тогда вероятность одно- 
временного накрытия этими интервалами всех 0,,...,6, 
будет не меньше &. Фактически она во многих случаях 
может быть значительно больше &*). 

Основную трудность в практическом применении из- 
ложенных методов представляет нахождение распределе- 
ний различных статистик, в частности оценок. В насто- 
ящее время эти вопросы достаточно хорошо разработаны 
только для случая нормального распределения ре. 


_даемых случайных величин. 


При определении оценок статистических характеристик 
и доверительных областей для них по результатам опытов 
обычно считают опыты независимыми в смысле опреде- 
ления, данного в $ 1.8. В соответствии с этим определе- 
нием будем считать опыты независимыми, если вероят- 
ность любого события и распределение любой случайной 
_ величины в каждом опыте не зависят от результатов 
_ предшествующих опытов. Кроме того, предположим, что 
вероятности наблюдаемых событий и распределения 
‘наблюдаемых случайных величин не изменяются от опыга 
‚к опыту. Таким образом, везде в дальнейшем будем. 
считать случайные результаты различных опытов неза- 
висимыми событиями и случайными величинами, имею- 
о щими одни и те же ки и распределения во всех 
опытах. 
Нахождение оценок статистических характеристик 
обычно называют точечным оцениванием, а нахождение 
доверительных интервалов — интервальным оцениванием. 


- *) Другие методы нахождения совместных доверительных 
интервалов для координат векторного параметра читатель найдет 
в [103]. 
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$ 3. Частота как оценка вероятности. 


3.1. Состоятельность. Пусть. р — неизвестная вероят- 


ность интересующего нас события А, Р—частота этого 
события при п опытах, рассматриваемая как случайная ' 
величина —функция случайных результатов опытов. 


№» Чтобы исследовать частоту Р как оценку вероят- 
ности события, воспользуемся формулами для математи- 
ческого ожидания и дисперсии частоты, полученными 
в примере 3.11: | 


МР=р, Р-Я, ч=1-р. 1 0) 


Отсюда видно, что математическое ожидание частоты со- 
бытия равно его вероятности, а дисперсия частоты стре- 
мится к нулю при неограниченном увеличении числа 
опытов И”. Следовательно, частота события с.к. сходится 
к его вероятности при п — со. Но из с.к. сходимости 
вытекает.и сходимость по вероятности (п.в.). 2: 
Таким образом, частота события сходится п.в. к ве- 
роятности этого события при неограниченном увеличении. 


числа опытов п. В этом состоит теорема Якова Бернул- 


ли — первая и простейшая теорема из серии теорем, объеди- 
няемых под названием закона больших чисел, который | 
устанавливает  вероятностную сходимость эксперимен- 


‚ тальных статистических характеристик к соответствующим 


теоретическим характеристикам. Таким образом, законо 
болыцих чисел подтверждает наши. интуитивные пред- 
ставления об устойчивости частот событий и характерис- 
тик случайных величин и тем самым обосновывает все 
практические применения теории вероятностей. | 

На основании доказанной теоремы Якова Бернулли 
И первой формулы (7) частота события является состоя- 
тельной несмещенной оценкой его вероятности. Более 
того, как мы увидим в $ 7.1, частота представляет собой 
несмещенную оценку вероятности с минимальной диспер- 
сией. Поэтому никакие е другие оценки ОН обычно 
не применяются. <. 

° Остановимся несколько подробнее на смысле выводов, 
вытекающих из проведенного исследования. Из теоремы 
Якова Бернулли следует, что при любых =, 6 >0 при 
всех достаточно больших числах опытов п имеет место 
неравенство в. 


Р(Р—р1>9)<8. = (8) 
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— В силу произвольности “и 6 и принципа практической 


‘уверенности отсюда следует, что при достаточно большом 
числе опытов и получение отклонения частоты от веро- 
ятности, превосходящего по 
абсолютной величине произ- 


ное число а, можно считать 
невозможным событием. На 
этом и основано использо- 


оценки вероятности события. 
_ 3.2. Доверительные интер- 
валы. Для нахождения до- 
верительных интервалов для 
вероятности обычно пользу- 
`ются вторым методом п. 2.4. 
№ Для каждого значения 
вероятности рЕ(0, 1) зада- 
_ют интервал О. (р) = [а (р), 6 (р), концы которого оп- 
ределяются из условий | 


— Р(В <аь (р) = Ра, (р) < --. 


Р(Р>Ь, (р) 1-Е 6. (2) <1 —5, 


_ где Р(х)—функция распределения частоты, т. е. функ- 
ция биномиального распределения 


(3) 


7 


= Е (х) - У сре (т). т ы_ 


Тогда будем иметь 
Р(РЕО. (р)) = Р (а. (р) <Р <. (р))>а 


Знак > вместо == здесь и соответственно < в (9) бе- 
рется потому, что вследствие дискретности частоты точ- 
ные равенства, как правило, недостижимы. Для опреде- 
ления соответствующего доверительного интервала 
А. (Р)={р: а« (р) <Р< 6. (р)} достаточно найти его гра- 
ницы путем решения неравенств аз (р) Ри Р< в, (р) 


относительно р. Вместо этого обычно пользуются сле-- 


дующим графическим построением. Определив а. (р) и 
(р). для каждого рЕ(0, 1), строят в координатах (р, р) 
кривые р=а. (р) и р=6. (р) (рис. —) Эти кривые при 
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вольно малое наперед задан-. 


вание частоты в качестве 


каждом значений В определяют на соответствующей. вер- = 
тикальной прямой интервал ДО. (р) = [аз (р), 5. (р)). Оче- _ 


видно, что, и наоборот, при каждом значении р частоты Р - 


эти кривые определяют на соответствующей горизонталь- 


ной прямой интервал Аа (р) = {р: рЕ [ан (р), 6 (р), пред- 


ставляющий собой реализацию доверительного интервала 
А.(Р), соответствующую данной реализации р частоты Р. 
(рис. 26). 9 | | 

В силу дискретности частоты ‘кривые р=аз (р), 


р=ь.(р) являются ступенчатыми, причем высоты всех 
ступенек равны [/й, а ширина каждой ступеньки равна 
длине соответствующего интервала значений р, при ко- 
торых а„(р) сохраняет постоянное значение до очеред- 
ного изменения скачком на 1/и. Однако для простоты 
их обычно заменяют непрерывными кривыми. Графики 
для определения доверительных интервалов при оцени- 


вании вероятностей для = 0,95 и а= 0,99 были по- —- 


строены Клоппером и Е. Нирсоном [37]. 
3.3. Приближенное определение доверительных интер- 
валов. При большом числе опытов п (практически при 


п>100) определение доверительных интервалов для р — 


существенно упрощается. Как показано. в примере 5.46, 
распределение случайной величины У =у п (РЫ рУ/У 24 — 


= (Х = ПРУУ прд стремится к нормальному распределению _ 
М№ (0,1) при п— <. Вследствие этого биномиальное. 
распределение при достаточно большом числе опытов И 
как угодно мало отличается от нормального. Это дает 
возможность при больших ‘ий пользоваться ‘нормальной 
функцией распределения вместо точной биномиальной. 


для приближенного определения доверительных интерва- 


лов для вероятности. 


Р> Предположив, что частота Р распределена нор- 
мально, в силу симметрии нормального распределения И 
формул (7) получим 


_@« (р) = р—ваУ а/п, 6 кр 


где г. определяется в силу (3.93) уравнением 


Р(18-—Р| <= 29 ) Фе.) =. _ @9) 


Практически корень =„ уравнения (10) определяется по _ 
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ме 3*). Поскольку е„ не зависит от р, кривые. 
= ао (р) и м бо (р) в этом случае представляют собой 
_ части эллипса п(р—р)*=е2р(1-—р)} с центром в точке | 


р=р=1/9, касающегося вертикальных прямых р=0 и 
р==!1 (рис. 27). Доверительные границы Р,, Р, в этом 
случае легко находятся из уравнения эллипса путем ре-. 
_шения его относительно р: 


р ОРТ = № Ри 
и 1 25/п 1 2/ю у п -- диз. ь (11) 


> 


Пример 5. При 100 опытах событие А появилось 68 раз. 


Таким образом, частота Р события А приняла значение 0,68. Найдем 
доверительный интервал для вероятности р=Р (А), соответствующий 

_ коэффициенту доверия &=0,95. Так 
как число опытов п. в ‘данном случае 
велико, то можно считать, что часто- 


та Р распределена приблизительно 

° нормально, и применить упрощенный 

метод. В соответствии с (10) находим 

по таблице |1 функции Лапласа Ф (и) 

значение &а аргумента и, при кото- 

рок она равна 4/2 =0, 475; получаем 

= !,96.После этого по формулам (11) 

ке Р: = 0,583; Р.=0,763. Таким 

образом, доверительным интервалом 

для вероятности р =Р (А), сеответст- 

02 04 46 48 / р вующим коэффициенту доверия @ = 

= 0,95, в данном случае служит интер- 

Рис, 27. вал (0,583; 0,763). Этот интервал пред- 

| ставляет 'собой реализацию случай- 

_ ного интервала (Ру, Р.), с р ея &=— 0,95 содержащего неиз- 
вестную а р=Р (А). - 


Вторая формула (7) показывает, что среднее квадра- 
тическое отклонение частоты обратно пропорционально 
Уп. Следовательно, точность оценки вероятности повы- 


_шается с увеличением числа опытов пропорционально Уп. 
Как мы увидим дальше, эта` закономерность распростра-_ 
няется и на моменты первого и второго порядков я 
чайных ‘величин. кы 


_*) При вычислениях на ЭВМ для определения 2а можно поль-. 
зоваться программой обращения нормальной функции распределения 
МОТЬТ [94]. 
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$ 4. Оценки математического ожидания 
и дисперсии случайной величины 


4.1. Оценка математического ожидания. Естественной. 
оценкой математического ожидания случайной величины Х. 
служит среднее арифметическое ее экспериментальных 
значений Х,!, ..., ХА, (выборочное среднее). 

х Е ” ь п ь 
ХХ = (12) 

№ Чтобы исследовать эту оценку, воспользуемся фор-. 

мулами для математического ожидания и дисперсии сред-. 
него арифметического, полученными в примере 3.12: — 


МХ=т, ОХ», — аа. 


Отсюда следует, что выборочное среднее случайной ве- 
лЛИчины С.К. сходится к ее математическому ожиданию 
при П— <. Но из с.к. сходимости вытекает ХО 
мость П.В. 

Таким образом, мы доказали теорему Чебышева: ‘вы- 
борочное среднее случайной величины с конечными момен- 
тами первого и второго порядков сходится п.в. к ее ма- 
тематическому ожиданию при неограниченном увеличении 
числа опытов п... - 

На’ основании теоремы Чебышева и первой формулы 
(13) выборочное среднее представляет собой состоятель- 
ную несмещенную оценку математического ожидания слу- 
чайной величины. < 

4.2. Оценки дисперсии. Естественной оценкой диспер- 


сии случайной величины служит ее выборочная дисперсия — 


- | 
1 $ 
Е 2 № - 
р; == (ХХ) ‚ (14) 
5 Для вычисления математического ожидания и дис- 


персии этой оценки, учитывая, что МХ, =МХ= Яо 
а (14) в виде 


рту жрет оз акб] - 


==, (:—(%%. 
Е=1 


ре 


Таким образом, 


—- Тогда а иметь. 


Мр:= 1х М (Хм (Хх) = 


_ Эта формула показывает, что О, является смещенной 
_ оценкой дисперсии Р,`со смещением, равным —Ш),/п. 


_ № Для вычисления дисперсии оценки О, найдем сна- 
чала ее момент второго порядка МО’. Имея в виду, что 


РР | (Х} ] — (>. (ХЬ*- (Х°)*, 
е=1 
‚ (= 


= Ху мо" У Мом пы 


- 
а ры м (х'+ У МХМ а = ев, 


Е =ЕЙ 


: = 
моим [Хм = 


> м (хз У м змс! вен, 


где и, =), а и, — четвертый центральный момент вели- 


чины Х, получаем после элементарных преобразований 


и Пн  ы 3 (8—0. 


ИР = 


= После этого *по формуле (3.29) находим 


Ро =МО*—(МО*) = 


п п? 


Не: — 1—3. < (16). 
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; р 
: . 
и м 1 
д ка 
у ЗЫ р 
а би ани 


При выводе этих формул мы воспользовались независи- 
мостью результатов опытов Х,, ..., ХА, и применили _ 
теорему умножения математических ожиданий (п. 4.2.6). 

Формулы (15) и (16) показывают, что МО;:—0),,. 
РР, —0 при п— с. Таким образом, оценка О, с.к. — 
‘сходится к р. Отсюда следует сходимость п.в. р; ко 
т. е. состоятельность оценки Оу. 

№ Чтобы получить несмещенную состоятельную оценку 
дисперсии О,, достаточно, как это видно из (15), умно- 
жить оценку О, на п/(п— 1). В результате получим оценку 


Е 
„Дисперсия т в силу (16) определяется формулой 


—№ _2(:—202) , р. — Зи 
пит На 8 


В частном случае нормального распределения случайной 
величины Х, как было показано в $ 3.6, п. = Зиз и фор- 
мула (18) принимает вид а - 


о 2 а: =. 
Об, ==. 4 (19) 


Для сравнения вычислим средний квадрат ошибки 
смещенной оценки ДП’, дисперсии О, для случая нормаль- 
ного распределения "Х. В. этом случае, учитывая, что 

ар. ОЕ Е (15) и (16) получаем 
: Е *% * а 
| М (В;— р, =[М (ру—р/Р- ОБ; = к. 


Отсюда видно, что смещенная оценка 1), и 
щенной оценки В так как (2п — 1)? < 2т < 2ИКп— |. 
4.3. Доверительные интервалы для математического 
ожидания. Задача определения доверительных интервалов | 
для математического ожидания и дисперсии для произ-_ — 
вольного числа опытов п решена только для случая нор- 
мальн еленной случаиной величины Х. 

в Если дисперсия Г), известна, то доверительный 1 ИН-. 
тервал для математического ожидания находится очень — 
просто. Для этого достаточно заметить, что среднее ариф- 
метическое Х как линейная функция нормально распре- 
деленных случайных величин распределено нормально. 
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АА ча 
хе" ‹ 
о 
У 


_ Поэтому на основании (13) и (3.93) 


Р(1Х—м, | У?) = Фе). 


Определив в» Из условия Ф (=..) = 9/2, получим довери- 
тельный интервал для т,, соответствующий коэффици- 


/ 


А доверия ©, в виде 


Хе. и" < т, ‚< Х га У 2+. < (20) 


При большом числе опытов п этот метод можно при- 
менить для приближенного определения доверительных 
интервалов для т, при любом распределении величины Х, 


так как при а п распределение величины Х стре- 


_ мится к нормальному ($ 5.4). 


Оценивать математическое ожидание при известной 
дисперсии приходится при измерении какой-либо вели- 


чины прибором, точность которого известна. В этом случае. 


математическое ожидание результатов измерений равно 
сумме измеряемой величины и систематической ошибки 


_ прибора, а Е Я равна известной дисперсии ошибки 


прибора. й 


№» Лля нахождения доверительного интервала: длЯ 
_ математического ожидания т, в случае неизвестной дис- 


персии ДР, обычно пользуются - третьим методом п. 2.4. 


Введем п-мерный вектор результатов опытов И =|Х,...Х,„]7 


и величину $ =0ТИ —пХ2. Нокажем, что случайная ве- 
личина 


т-Уте1-. 


представляет собой стьюдентово отношение (пример 5.12). 
Для этого заметим, что при любом а ь 


о, —х) = Ур, —а—(Х—а)р= 


г. > (Хь—а)—2 (Х—а) ” (^,—а) + п(Х —а}} = 


= У (Х,—а)*—п(ХЬ— а), 
в=1 . 
так как. 


а о а 
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ада ВА Нда Бобби. 


Положив в полученном равенстве один раз а=т,, а дру 
`ГОЙ раз а=0, получим 


т Е р (Х3)*—п(Х°)* = р Х— п", 
откуда следует, что 
"—05.- У 6. — Ху тв 
- —= 0ТИ—пХ? = в 


Это равенство показывает, что величина $ выражается. 
через центрированный вектор Ц® так же, как и в при- 
мере 5.12, что и доказывает наше утверждение. Следо- 
вательно, величина Т имеет Т-распределение с Е =и— 1 
степенями свободы, определяемое плотностью 

ЕЕ! т 

7) 


меры 


Так как это распределение не зависит от неизвестных 
параметров т,, Р„, то величина Т может служить в ка- 


честве функции «$ (0, $5, 0) п. 2.4: 


Т=Ф(Х, 5; т.) =УИп(п— Х-тх, 
ф( Эы ИУп(п— 1) у 
оао п. 2.4 доверительный интервал для т, опреде. 

ляется теперь неравенством 


Уи ПЕ За. (21). 
Где га определяется уравнением 
а 2х ь 
РТ | < га) = $ (ви) =2 \ в, (0 4 =9.. (22) 


0 


‚Практически в„ находится непосредственно по таблице’ 
по данным К и « (табл. 3). 

Чтобы преобразовать полученный доверительный ИН- 
`тервал для т, к более удобному виду, заметим, что по 
доказанному выше 


$=(и—18.. т. (23). 
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`Подставив это выражение в (21), получим 


|Х—м, | < о = ’ 
или ее 
_Х— = У 2: < т, < Х-+ У 2: . (24) 


_В таком виде обычно и записывается доверительный ИН- 
тервал для математического ожидания случайной вели- 
ЧИНЫ. 

При больших № Т- -распределение мало отличается от 
нормального. Действительно, 


пп, (= шо ЕМл (1+) =шаь-т2+0 (+), 


Ва множитель в $,(1). Отсюда видно, 


что 
= 1-5 | 
В "+0 (1)| 


и, следовательно, $,([Р) —(2л)-'/?е-#/? при Ес 
(с, —(2л)-М?, так как $»,(Р)— плотность при любом К и 
сходимость второго множителя к е-"!/? равномерна на 
любом конечном интервале). < 

Таким образом, при больших Е и при 
Е > 120) величину &« можно определять, как и при оценке 
математического ожидания при известной дисперсии, из 
‘условия Ф (=) =9/2, пользуясь таблицей 1 ЕО Лап- 
нае“). 
| 4.4. Доверительные интервалы для дисперсии. Для 
нахождения доверительного интервала для дисперсии О, 
‚обычно пользуются первым методом п. 2.4, применяя 


его к оценке т среднего квадратического отклонения 


с. =УШ.. 


№ Так как величина, И = хл/Б- имеет нормальное 


.—: распределение М (0, 1), то согласно результату примера 


5. 34 величина | 
-_ 2=5/0,=(ИТИ—пХ%/О, 


`*) При вычислениях на ЭВМ для определения ео МОЖНО ПОЛЬ- 


зоваться программой обращения нормальной функции распределения 
. ТЕ [94]. 
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1 -_ 1 2 
Поэтому, учитывая, что согласно (23) Бр, = 5/0, = 
= 2/® ир следовательно, 


ь г 
Ох . 
= у и | Е 


(к че а)" < 2 > (1 то. 


где через (1—2.). для краткости обозначена. величина 
тах (0, | —=„), получим для =„ уравнение Ее 


(не <У чаты). 


а - со ба. | — 
=1, (®)= ( рь(2)42=а. (25) 
| Г: 


Отсюда находим доверительный интервал для среднего _ 
квадратического отклонения и дисперсии: . 


рь (г) = 


тах (0, 1—е.) У В, <УР, <а+ыу5; р (26) 


Для определения г„, удовлетворяющего уравнению (25), 
составлена таблица значений &»„ в зависимости от иа@. 
(таблица 4). 

# При больших - Е х-распределение близко к 


М (ИЕ —1р, 1/9). Чтобы доказать это, достаточно пока- 


зать, что распределение величины Т = 22 —У 2—1 
стремится к М (0, 1)* при А— оо. Е формулой — 
(5.31), находим плотность величины ий —- 


ро-еут Ол, (+=) _ 
-- (+1) 


и 28 —1)"- 4 - 
мг ($). — 
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Отсюда находим 
ша, ов 
=. ап —1) + 
| | З- а. 
а у 


мы: оз И2—1 | . 
ВОТ Е кс, ИНН ИИ —1/2 24 
Е о ы ео (-11) 


= в, — 9 (9-т т) 2-+0(#- 22), 


ть, у 


где через а, обозначен для краткости постоянный множи- 


тель в выражении плотности [, (№), а пб, —сумма всех 


постоянных, полученных в результате произведенных 
преобразований. Из полученной формулы видно, что 
Ё» (Е) —(2л)-1/е-2!? при К —+ со, что и доказывает наше 


утверждение. Практически. можно считать величину и: 
_ распределенной ‘нормально при # >> 30. В этом случае 
_ целесообразно отказаться от симметричного относительно 
оценки УБ. доверительного интервала и взять симмет- 
ричный интервал для статистики Т = РУ 


Тогда, определив г, из уравнения Р (|Т | < =„)= 2Ф (ва)=% 
и имея в виду, что |#| <» при \ 


‚узи АРОК Ра 2 
Е Е р ыы 


о е. при ] 


ры У. 
та 2 ИТ 
У & И 2 


получим доверительный интервал для р. В форме 
ИБ. 
Ее 


Оценка, распределение которой стремится к нормаль- 
ному при неограниченном увеличении числа опытов п, 
называется асимптотически нормальной. Таким образом, 


— 22), | 
<УР, < < (27) 


мы показали, что оценка УБ. среднего квадратического 
отклонения асимптотически нормальна. 
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4.5. Ее. области ДЛЯ математического ожи- 
дания и дисперсии. Мы нашли доверительные интервалы 
для математического ожидания и дисперсии по отдель- 
ности. Однако при совместном оценивании математиче- 
ского ожидания и дисперсии нас интересует вероятность 
того, что оба параметра т, и ПО, будут заключены 
в соответствующих интервалах. Иными словами, нас 
интересует доверительная область для двумерного век-. 
торного параметра (т,, 0,). Чтобы найти такую область, 
воспользуемся вторым. методом п. 2.4. 


ыы 
. —— > 
Рис. 28. 


> Зададим область Ро (9) = Ш. (т,,, р.) на плоскости 
(Х, УВ.) в виде прямоугольника (рис. 28, а) 
— р. Ур» 
Ра (9) = {(Х, ,): [Х—м, | < 24 у. Пе 


Ека — а, 
НЫ 


где аа (0, 1-0 ба). Тогда область 
Ао (6)= {п р): (Х, 2,) ЕБы (9); 
определится формулой 
ль (6) (т 2: [п,—Х|< + ИЯ. 
| и—8 8.) ИБ, < ИБ, + ИБ. (28) 


Эта область представляет собой трапецию (рис. 28, 6). 
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Чтобы найти вероятность Р((Х, Б.) Е р. (0), воспользу- 


емся тем, что при нормальном распределении наблюдае- 


_ мой случайной величины Х статистики’ Х и $ незави- 


симы (пример 5.13). Так как Х имеет нормальное рас- 
пределение` М! (т., )./п), а2=5/)0, =2Р,/), —?-распре- 
деление с & =п—1 степенями свободы (пример 5.34), то 


Р(Х, БР. )=Р([Х—т,|< 


О; 
<= УЕ) Р (ил <2< ел) 66 


Определив &,„ и б,„ из уравнений. Ф(е-) =с Иа, 
[+ (6) =Уа [с, где с-— произвольно выбранное число, 


найдем по формуле (28) доверительную область вектор- 


ного параметра (т,, О), соответствующую коэффиниенту 
доверия ©, и можем быть уверены, что в среднем 


в 100%% случаев точка (т,, ИД.) будет находиться 


В найденной области Аз (9). << 


Пример 6. По данным экспериментальным значениям слу- 
чайной величины Х, полученным в результате 20 опытов (по вы- 
борке): 8, 42, 22 ‚ —40, 18, 38, 2, —16, 34, 6, 54, 20, 74, 0, 4, —28,. 
36, 44, 16, 24— найти оценки и доверительные интервалы для т, и 
р соответствующие коэффициенту доверия &==0,95. 


По формулам (12) и (17) находим оценки ту, р И в: = | 99) 


—ы ^ —9 
. ев нь = 756,84, 


20 
5,5 И 27,5. 
По данным но и &=0,95 находим по таблицам Зи 4 


6% =2,09 для Ш; И ва ==0,380 для Ве После этого формулы (24) 
и (26). дают доверительные интервалы для ту и Вх: 


5,4 <т, < 30,4, 17,0 < УБ, < 38,0. 


Для. определения доверительной‘ области для векторного пара- 
метра (т„, Ох) находим по таблице функции Лапласа 1! и по таб- 


лице 4 20 =2,23, бо =0,464 из условий 2Ф (г. ) =УИа=0,974, 


Гь (0) = Уа=0,974. После ‘этого по формуле (28) находим оаЕриЕ 
тельную область 


_ 17,9—0,499 УБ; < т, < 11,9-| -0499 У; 47 <`УБ- < 403 


‚ На рис. 29 изображена эта трапеция. Для сравнения показан пря- 
моугольник, образованный ранее найденными и доверительными интер- 
‚ валами для т; и ДР» (заштрихован на рис. 29)., | 


244 - 


чай 
бы РР 


пунктиром. 


‚тематических ожиданий, 


` 


20. 975. В результате получим 


Для сравнения найдем - прямоугольную ани ть 
с коэффициентом доверия не меньше &= 0,95. Согласно п. 2.4 для 
этого достаточно найти по формулам (24) и (26) доверительные 
ав для т, и Ох, НЫЕ коэффициенту доверия. 
=1— (1—0) /2 =1—0,05/2 = 


4,1 < т, < 31,7, 
14,5 < УР, < 40,5. 


Эта прямоугольная доверитель- 
ная область показана на рис. 29 


4.6. Оценки моментов. . 
На основании результа- 
тов, полученных для ма- 


состоятельной несмещен- 
ной оценкой момента лю- 
бого порядка служит сред- 


_нее арифметическое зна- Рис. 29. 


‚чение соответству ющей. : 


степени’ случайной величины *). Однако точное опреде- 
ление доверительных интервалов для моментов оказы- 


вается трудной задачей. Для приближенного определе- 


ния доверительных интервалов : при большом ‘числе 
опытов обычно пользуются асимптотической нормаль- 
ностью оценок моментов. На основании центральной 


предельной теоремы ($ 5.4) распределение оценки мо- 


мента любого порядка как суммы независимых случай- 
ных величин при достаточно большом числе опытов как 
угодно мало отличается от нормального. Поэтому, зная 
математическое ожидание и дисперсию оценки момента, 
можно приближенно определить - доверительные интер- 
валы. Математическое ожидание оценки момента равно. 
самому моменту в силу несмещенности оценки. Нахож- 
дение дисперсии оценки не представляет никаких прин- 


ципиальных трудностей, хотя и сопряжено с громозд- 


кими выкладками. 


и 


2 *) Для вычисления оценок математических ожиданий, диспер- 
сий, средних квадратических отклонений, третьего и чётвертого 
центральных моментов, коэффициентов асимметрии и эксцесса, 
а также коэффициентов ‚корреляции Ее 5.2) на ЭВМ в [94] служит 


программа М!5К. 
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$ 5. Оценки математического ожидания 
и ковариационной матрицы случайного вектора. 


5.1. Оценки ковариации и коэффициента коррёляции. ^ 


Результаты $ 4 позволяют находить оценки и довери- 
тельные интервалы для математических ожиданий и 
_ дисперсий координат случайного вектбра, рассматривае- 
мых по отдельности. Чтобы научиться оценивать ковариа- 
ционную матрицу случайного вектора, остается рассмот- 
реть оценки ковариаций. 

На ‚основании сказанного в п. 1.2.9 естественной 
оценкой ковариации случайных величин Х и ТУ служит 
их выборочная ковариация 


К-т ь-Х и, 7), _ (29) 


где Х,, а. та — случайные результаты опытов, 


а Х, Я выборочные" средние величин, Х и У. Совер- 
шенно так же, как для оценки О, дисперсии О,, нахо- 
_ ДИМ МК", =(п—П) Е, /п. Отсюда видно, что’ Ку, —сме- 
щенная оценка со смещением —, „п. Чтобы получить 


несмещенную оценку и достаточно умножить К‚, на. 


п/(п — 1). В результате получим 


Ки (№№, 8 


Дисперсия э этой оценки выражается через центральные 


моменты и», случайного вектора {Х, У}: 


= п (2—1) _ 2и— И20 02 — Зы 
РК, = (п— 1)? аа а -Ё 


— Ва Мороз 2 (31) 


пи * 


Эта формула выводится совершенно так же, как (18).. 


В частном случае нормального совместного распределе- 
ния величин Х и У четвертый. момент р„, выражается 
через элементы ковариационной матрицы п, = мов 
2: =Д, р, +2 *, (п. 4.5.3), и (31) принимает ВИД 


п—|. 


РК, = РхРу-- № | (32). 
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УИ ЕИР" 73 


На основании (17) и (30) ощенку коэффициента кор: 
реляции &,, величин Х и У определяют формулой 


п 2 
и |3 +-90-Р| а 
Ки = 5 А, (33) 
с К бк 


Е=1 =1 


5.2. Оценки математического ожидания и ковариа- 
ционной матрицы. Полученные результаты дают оценки 
математического ожидания и ковариационной матрицы 
любого случайного вектора. 


№ Пусть Х —т-мерный случайный вектор, Х!,..., Х/— 
его экспериментальные значения; о в. ‚Х,  —коорди- 
‘наты вектора Х, (Е =1,..., п), Х — выборочное среднее 
вектора Х: 

- п : 
ем 1 
д = п 2 Хь. (34) 
к=| ь 


Введем матрицу С, строками которой служат векторы 
ЕЕ Е | = 

— ; Хи Х1з +... Ат а. 

(= 5 они ОИ С . . . . 5 2 (35) 


Тогда в силу равенства _ 


р (Х›—Х,) бы —Х. ео Хь,Х в — ХХ = 


=" ы—тд—п фт), —то, (36) 


которое выводится совершенно так же, как аналогичное 


равенство в п. 4.2, определим р ковариационной _ 


_ матрицы К, формулой 


ь ту — пХХ 
Вы: 5 -.ы ( ХХТ (37) 


п— | п— | 


Таким образом, оценкой математического ожидания т. 
случайного вектора Х может. служить его выборочное 


среднее Х, а несмещенная оценка его ковариационной 
матрицы К, определяется формулой (37). $ 
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хх 


а, 


АН Осталось. научиться определять доверительные _ 


области для математического ожидания и ковариацион- 
ной матрицы случайного вектора. 

№ Найдем сначала доверительную область для век- 
тора т,. Для этого применим третий метод п. 2.4. Со- 
_гласно результатам примеров 5.15 и 5. 25 статистика 


2 р (т т?) 5-1 (Х —т,) 


имеет Е 


анис) = —_ | 
от" т) те: 
Ионы 


Эта плотность не зависит от - неизвестных параметров 
т, и К,. Поэтому функция 


$0,5, т)=Е=" И (тт?) 8-1 (Х—т,) 


удовлетворяет всем требованиям п. 2. 4, и доверительная 
область для т, определяется о 


('—т? 5-1 (Х—т,) < (38) 


= т) Г, 
где |„— верхняя. 100 (1 —@)-процентная точка Е-распре- 
деления |„„-„, определяемая уравнением 

| тк 


РЕМ = Е, (= | [ы, ни а =а. (89) 


Для определения [, по данным @а, [=ти Ё=п—т 
составлены` таблицы [117] и 6). | 
`Уравнение 


(5—7) 5-Х 


‚в координатах Ё определяет т-мерный эллипсоид (эллипс 
при т=2) с центром в случайной точке Х, случайные 


_ размеры -и направления главных осей которого опреде-_ 


ляются матрицей $ и числом `]». Доверительная область 
(38) представляет собой. множество внутренних точек 
_ этого случайного эллипсоида. Из (39) следует, что этот 
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УТРА ВРУ ЧАИ РО РО А, ИУ ИРУ ГИРРАИ 


ПО ОЕ Е ЕСТ Ру ЕСТ У ТОТО РЗ УЗИ 


А мы ы : 
УНИИ, СИЕ су ИН ЗАРИ 


Эллипсоид накрывает неизвестную точку т, с вероят- 
ностью 0. < 

5.4. Распределение выборочного коэффициента корре- 
ляции. Перейдем к определению доверительных интер- 
валов для коэффициентов корреляции. Из результатов 
примера 5.18 следует, что в случае нормального распре- 
деления вектора Х случайная матрица 5 имеет распре- 
деление Уишарта, определяемое плотностью 


ь п-т-2 ыы 
о =: |$] * ер{— 98 (КЕЯ| 
(2т|К»;|) * = 


в области положительно определенных матриц $ и 


и „ (5) =0 вне этой области. Для определения довери- 


тельного интервала для коэффициента корреляции доста- 


точно рассмотреть случай двумерного вектора Х, т=2. 
В этом случае совместная плотность элементов $11, $,,, 9.2 
‘матрицы $ определяется формулой 


> (бы, $12» ба). = а | 


#4 > 


(515—584) ®_ ы | — Ь | Ор Ь 
а 4 А 22911 — 12512 | 11522) , (40) 
4л (п— 3)! А 2 СЫРЕ | | 


* 


| : | 
где для краткости положено А=А 5—1. Области. 
симметричных положительно определенных матриц в трех-_ 


мерном пространстве с прямоугольной системой коор- 


динат (511, $12, 555) соответствует область, ограниченная 


половиной конуса, определяемая неравенствами зы 0, 
513 < 5115... Вне этого конуса &,, ($11› б1ь» 522) = 0. 
т № Чтобы найти распределение оценки (33) коэффи- 


циента корреляции, заметим, что Ю.=5./У $5.» вслед- 


ствие чего плотность р}, (р) оценки А., можно определить 


по формуле (5. ее 


—: (р) =) ) Физ (511, О -. 5) 4511 452. 


Подставив сюда выражение (40) и вводя новые. перемен- 


ные интегрирования х= 51,/®.1, у=5,,/№,,, получим после 
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ы. 


несложных преобразований 
а п-4 


т ‚1—0 "2 я 
р Хх 


п-1 


4 (п—3) 1(1-— и?) #. 


© ® ть и +22. 
1 8 
х} | (4) 2 ехр о ааию и ах ау. 
60 | - 


Замена переменных у=х 15? ф дает 
па 

Е 2 
[, (р) = ее. 


2л п (1—2) 2. 


{фоп-2 се 
х | Е В зехр|— ооо щавах } ах. 
ь 0 


с05? 2(1—/?) со$? 

Приняв за новую переменную интегрирования # во внут- 
реннем интеграле модуль ‘аргумента показательной функ- 
ции вместо х, найдем 


© _ | 
| 1— "рт 2 
п-2 —————— —е 
\ ехр{ дону #48 
0. | 

9п- 1 ([—72)"-1с052"- а ры 

те (1—ир эт 26)” -1 м Е = 

а т 1 со52 = 2 


ф 
(1— гр $1 2ф)"-1 (п—2)!. 


Подставив это выражение в предыдущую формулу, по-_ 


Лучим 
п-1 п-4ал/2 


Бо" о ет 
0 


(Г— гр эт 2ф)"-Е 


> п-4 а 
о ей зп” - 20 49 
› | р") |1 —гр зп 0)"-1 ° 


© 


Наконец, принимая во внимание, что $10 = п (л— 6), 
Е полученную формулу к виду 


п-т поел 


| 2) мг (1 ==рз). * — зш”-20 49 


=" 


_ 250. | - 


Пра б= * 49 (41). 


` № 
РОИА ЧЕТ ИР ЕРАЗ ОАО ИРЕН ИРИ ИРИ ИОН АРМИТ СУ 


Эта формула, ‘определяющая плотность выборочного. 


коэффициента корреляции, получена Фишером . [110]. 
- Интеграл в (41) вычисляется элементарно (например, 
подстановкой и= {5 (0/2)). Однако при этом получится 
очень громоздкое выражение. Чтобы получить компакт- 


ную формулу, выведем, следуя Фишеру, рекуррентную. 


‘формулу. тля интегралов 
т зпи-20 40 
эй- 
1 (= } И 25тб)"==* 
> Дифференцируя эту формулу ‘по г, получаем 
л/8 ‹ 

- тй-10 49 . 

=") петв = И 1,1). 
: 


Отсюда следует, что [,(2)=// и (г)/(п—2). Это и есть 


‘искомая рекуррентная формула. Применяя ее, находим _ 


1, (г) = 1"? (2)/(п— 2) |. 


Таким образом, задача свелась к вычислению интеграла 


л/2 


90 
нота 
0 


230 °- 


Подстановкой ‹ и= {5 (0/2) и соответственно зт0д= 


=2и/(1 - и*), 49 = 24и/(1 - и*) после элементарных триго-.. 


нометрических преобразований получаем 


3/2 


Е. 49 _ агссоз р 2)_- 
г. 9 = . 
) 2 п У1 г 


` 


- Таким орразом, 


4п-? агссоз (—2) 
Е 
} 


в это выражение в (41), получим формулу 
Фишера 5-е 


— 5. Иа 
(р) ==) * ах 


4"-? агссо$ (— агссо$ (— гр) р (42). 


4(гр)"-? ИГР 5 


ре 


Ясно, что все написанные формулы для |}, (0). опрё- 

_ деляют [,(0) только в интервале [—1,1]. Вне этого _ 

интервала [, (р) ==0.. = 

т Доверительные интервалы для коэффициента _ 

_ корреляции. Для определения доверительного интервала _ 

_ для коэффициента корреляции г обычно пользуются 

вторым методом п. 2.4, совершенно так же, как это де- о 

_  дЛается для неизвестной вероятности (п. 3.2). Е 

— Определив при каждом значении РЕ 1) интервал 
= 1% (г) = (@« (г), В. (г)) из условия 


_Р( <а.())=РА > (1) =, — 9) 


строим на плоскости (Е. ^) кривые гв. (г) и = ба (г) 
ие 30). Эти кривые при любом значении г оценки Ю | 
коэффициента корреляции - 
определяют соответствую- 
щую реализацию А (Г) = 
Е а, 
доверительного интервала 


А. (В) для г, соответству- 
ющего коэффициенту дове-_ 
рия @ (рис. 30). Практи- 


‘чески кривые г=а„ (г) и 


г=, (г) можно построить, 
пользуясь таблицами функ- 
ции распределения ве- 
личины В 


Е. (= (©) 4, 
7$ : 


< 


„был: дл бобывлибифы борис бл Бшбв но) 


ЕРИНО РЕ ЕР ТРРЕЗИРЕЗЕ НУДИСТЫ 


_ Рис. 30. 


ИРУ РУЧЕК И 


де РВ 


которые составлены Дэвид. [26, 27|. 

Для. приближенного определения доверительного ин- 
тервала для г можно воспользоваться тем, что,. как за- 
метил Фишер, распределение случайной величины 


_ 


д% . { 
И ола В НЫЙ ОА бо 


: Е 1-- К з 

- | ‚ = Ш Г. (4) 

= даже при небольших значениях п близко К нормальному : 
распределению 


м (1 ЕН, =). 
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й 
ее $ 
А Е САМ Ааа я 


РЕ 
в 


в выражении математического ожидания величины Е 


- равна ©: 


Дэвид исследовала точность приближения распреде- — 
ления величины 2 к нормальному и рекомендует поль- 
зоваться приближенным нормальным распределением для. 
& при п>25, отбрасывая при этом слагаемое г/2 (п — 1) 


Тогда, определив г» из условия Р ([2—т,| < ин — 
—=2Ф (2,) =, толучим приближенный. доверительный 
а для коэффициента корреляции г в виде 


1-- В Фа а а: ыо 
ее 5 Ш ——_. 
2 1_В г. < ПЕ ТЕЕЕ 
Отсюда, имея в виду, что функция - 
1-х 
тт А 


монотонно возрастающая и обратная функция опреде- = 
ляется формулой 
27-1 


эт = 9, 


== 


— 


преобразуем доверительный интервал для г к виду _ 


ы и Е аа Е. В 9 
48. те =]: 
(3 = п Е у) << ($ п вх ) 
(45) - 


5.6. Е ее = ДлЯ ковариационной ма- 
трицы. Для определения доверительных областей для 


` ковариационной матрицы в. т(т-- 1)/2- мерном простран- 


стве можно применить второй метод п.2.4. 
Пользуясь распределением Уишарта (5:21), выбираем 
для каждой данной матрицы К, область О.(К..), веро- 


ятность попадания в которую оценки К,=$/(п—1) 


Ра 


Р(К, ЕР. (к) = \ №, (5) &=а. 
- Во (К»). | -. 
Тогда множество матриц ЗА для которых. данное зна- 


чение К, принадлежит О. (К), А(К,)={К,: К.Е Ба (К„)}, — 
будет доверительной областью для К,, соответствующей : 
коэффициенту доверия &. Область Р.„(К,) можно задать 


в виде прямоугольника (параллелепипеда) в т (т - 1)/2- 


мерном пространстве. Стороны этого прямоугольника по 
осям К,„, можно выбрать так, как мы Выбран ИХ 
в п.4.4 для дисперсии. 


- — 


р. Чтобы найти овен доверительную область 
для вектора т, и матрицы К, (в т(т--3)/2-мерном 
пространстве), воспользуемся тем, что при нормальном 


распределении наблюдаемого вектора Х вектор Х и ма- 
‘трица 5 независимы, ‘причем Х имеет нормальное рас- 
пределение №(т,, К,/п), а з—распределение Уишарта 
„„ ($). Будем искать область До (т‚, К,) в виде 


{(Х, К,): п(Х"—т;) Кг (Х— т) . < Ва, 


Тогда будем иметь 


Р(Х, К)ЕБа(т,, К.))=Р(и(ХТ—тГ)Кр (Х—т,) < 
<:)Р((п—Пач(К,) < 5$ < (п—1 6. (К,)). 


Определив 2, а«(К,) и 6. (К») из уравнений 
Р(п(ХТ—т7) К; (Х—т,) < га) =СУ а, 
Р ((п— Па. (К,) < $ < (п—1) 64 (К,)) = 
получим доверительную область для (т,, К,) в виде 


А. (Х, К,)= {(т,, К): пт -Х)Ки(т,-Х) аи, 
. а (К) <К, < (К,)}. 4 


’ 


Пример 7. В результате 20 опытов получена выборка для. 


ат случайного вектора {Х, У}: 
(—9, ТР (—2, го (2, —1), (— 30, —21), (9, — 2), 


(15, 10). ее 0, 0). 2-ю): 9. ВЕ 4—0 
- ет т (7, 18), (6, 5), 8, —9), (- 6,10), ©, 56) (17,4, 


Найти оценки математических ожиданий, дисперсий, ковариации 

и коэффициента корреляции величин Х, У, доверительную область 

для вектора математического ожидания, доверительные интервалы 

для дисперсий и коэффициента корреляции и совместные доверитель- 

ные ‘интервалы для всех пяти параметров то, "у Вх, Оу, г при 
и =—0,95. 

По формулам (12), (17), (30) и (33) находим оценки т.т. О. 
а В. 


х—=— 1,05, у=- 2,05, 4, — 511/19 = 194, 
а, и Ах о Не 


Г. 0,68, 
г 522 
где $11 = 3681, на НЬ, 50) =2583. 


*) Неравенства между матрицами, так же как и между векто- 
рами, понимаются как соответствующие неравенства для всех эле- 
ментов ее 
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а» (К,) < К, <» (К,)} *)- 


| 
. 
1 
. 


ине черерирроеРв чезя 


_ По таблине 8. находим для @=0, 95, 1=т=2, в=п—т=18 
значение /,=3,55. После этого формула (38) определяет реализацию 


доверительной области для вектора [ту т,]Т как множество внут- 


ренних точек эллипса 
0,5113 (т„-{- 1,05)*—0,8358 (ту -- 1,05) (т,--2,05)-- 
0,7287 (т, - 2,05)? = 19,72. 


На рис. 31 этот эллипс показан вместе со всеми экспериментальными _ 
точками: 


Рис. 31. 


Определив по таблице 4 значение.г, =0,380 по данным & =0,95, 
Е=п—1=19, находим по формуле (26) доверительные интервалы 
для дисперсий координат случайного вектора: 


8,6 < УД, < 19,2, 7,2 < УБ, < 16,1. 


Наконец, определив по габлице | значение =, = 1,96, для кото- 
рого 2Ф (=) =&=0,95, находим по приближенной формуле (15) д0- - 
верительный интервал для коэффициента корреляции: 


1 1,68 : 1,96 5 21208 ‚68 1 196. 
или, выполнив вычисления, 


0,338 < г < 0,862. 


Совместные доверительные интервалы для ть, ту, Ох, Оу иг, 
соответствующие &=0,95, согласно концу п.2.4 можно определить 
как доверительные интервалы для каждого из этих параметров, 
соответствующие коэффициенту доверия и =1— (1—0) /5 =0,99. 


- = 
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_ В результате получаем о 


—20,96 < т, <18,86, — 18,72 < т, < 14,62, 
_5,8 < Ур; < 22.0, 4,9<УБД, < 18,5, 
0,200 < < 0,895. 


Найдем еще совместные доверительные интервалы для величин 
т, и т,. Для этого следует определить ‘доверительные интервалы 


для каждой ‚из величин тх, ту, соответствующие коэффициенту 


доверия а =1— (1—9) 2=0,975. В результате получим 

— 8,80 < т, < 6,70, — 8,47 < ту < 4,37. 
Для сравнения ’на рис. 31 показан прямоугольник, образованный 
совместными доверительными интервалами для ту и ту. | | 


$6. Проверка гипотез о параметрах распределений 
6.1. Задачи проверки гипотез. Задаче построения до- 


верительных областей для параметров ‘распределений 
родственна задача ‘проверки гипотез об этих параметрах. 


.Из сказанного вп. 1.1 ясно, что никаких точных утверж- 
дений о параметрах распределения по результатам опы- 
тов делать нельзя. Можно лишь высказывать различные 


предположения о них — гипотезы. Задача проверки ги- 
потез состоит в том; чтобы установить, противоречит 
принятая гипотеза экспериментальным данным или нет. 

Возможны два основных типа’ гипотез о неизвестных 


_ параметрах распределения. Гипотеза первого типа пред- 


ставляет собой предположение, что неизвестный параметр 9 


_(скалярный или векторный) имеет ‘данное значение, ска- 


жем 0,, или принадлежит данному множеству значений. 
Гипотеза второго типа состоит в том, что неизвестные 
параметры в двух независимых выборках (или в боль- 


шем числе выборок) имеют одни и те же значения. 


Ясно, что гипотеза второго.типа, по существу, представ- 
ляет собой предположение, что две серии опытов, в ко- 
торых . получены выборки, ироизведены в одних и тех 


‚же условиях, так как только при выполнении опреде- 


ленного комплекса условий в каждом опыте вероятности 
событий и характеристики случайных. величин имеют 
одни и те же значения во всех опытах. Характерной 
причиной изменения условий опыта часто являются 
различного рода дрейфы (тренды) — медленные неконтро- 
лируемые изменения различных величин, характеризую- 
щих условия опытов. При этом изменение величины 


_ считается медленным, если в течение любой одной серии 
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‚опытов ее можно считать практически постоянной и 
только в интервале времени между двумя сериями опы- 
тов ее изменение может быть существенным. Задача 
проверки гипотез второго типа в таких случаях пред- 
ставляет собой задачу обнаружения ее дрей- 
_фов за время между двумя сериями опытов. 

Алгоритм, в соответствии. с которым эксперименталь- 
ным данным ставится в соответствие решение принять 
или отвергнуть гипотезу, называется правилом решения 
или решающим правилом. | 

6.2. Проверка гипотез о значении параметра. Задача 
проверки гипотез первого типа легко решается с помощью 
доверительных областей. Если данное значение 6, (дан- 
ное множество значений) принадлежит полученной реа- 
лизации доверительной области ‘(имеет непустое пересе- 
чение с ней), то можно считать, что гипотеза не проти- 
воречит экспериментальным данным. В противном случае 
гипотеза отвергается. При таком решающем правиле 
вероятность отклонить гипотезу в случае, когда она 
верна, равна 1—9“. | 


Пример 8. В условиях примера 5 гипотезу о том, что вероят- - 


ность события А равна 0,5, следует отвергнуть, так как точка — 


р=0,5 не принадлежит доверительному интервалу (0,583; 0,763), 
соответствующему &=0,95. Вероятность отвергнуть праАньвуЬ 
гипотезу в данном случае равна 0,05. 

Пример 9. В условиях примера 7 гипотезу о некоррелиро- 
ванности случайных величин следует отвергнуть, а гипотезу о том, 
что коэффициент корреляции заключен в интервале (0; 0,5), можно 
принять, так как точка г==0 не принадлежит доверительному ин- 
тервалу (0,338; 0,862), а интервал (0; 0,5) пересекается с этим до- 
верительным интервалом. 


Другой .подход к и проверки гипотез первого 
типа будет дан в 6 10.5 | 

6.3. Проверка гипотез о совпадении значений пара- 
метра. Для решения задачи проверки гипотез второго 
типа часто применяется видоизмененный третий метод о 
п. 2.4. Видоизменение состоит лишь в том, что вместо 
неизвестного параметра 0: в число аргументов функции $ 
включается его оценка по второй выборке. 


Пусть 9, и 9, —две оценки параметра 6, полученные 
по двум независимым выборкам. Предположим, что уда- 


лось найти ‘скалярную функцию ф(9,, ©9,, 5) оценок 


0, 0, и некоторой статистики ©, обладающую следую- 
щими свойствами: 
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п при любых фиксированных значениях 6, и $ вели- 


—цин ©, и $ неравенство `ф (0,, 6,, $) <с при возрастании 
6 определяет монотонно возрастающее семейство вложен- 


_ ных одна ‚вдругую областей Д (6, 5, с}==19.: : Ф ©,, 6,,5) < с 
2) ‹ (0, 0, $)-=0 при любых 0; $ и $(б,, 6,, к 


при любых 0, 9: $ 6. 2.6, (и, следовательно, точка 6, = 
` принадлежит области Д (6,, $, с) при любых с >> 0, 6, и 3: 


3) распределение случайной величины Т =ф (0., 0. 5) 
в случае справедливости гипотезы не зависит от неиз- 
вестного параметра 0.` | 


—- определив б» ИЗ уравнения 
_Р(« 6, 0, 5) 5 б.) = 9%, 


получим следующее правило решения, ‘соответствующее 


коэффициенту доверия а: если ф(9,, 6,, $) < 8%, то ги-. 
‘потеза не противоречит экспериментальным данным; если. 
же ф(9., 9,, 5$) > 8., то гипотеза отвергается. При этом 
вероятность отвергнуть гипотезу в случае, когда она 
верна, равна, | —<. | 

Применим изложенный общий метод для проверки. 
гипотезы, что математическое ожидание случайной вели- 
чины одно и то же (неизвестное) значение в двух неза- 
висимых сериях опытов. Рассмотрим две серии незави- 
симых наблюдений нормально распределенной величины 
Х (или двух случайных величин Х, и Х,) с неизвестным 
математическим ожиданием т, и ковариационной матри- 
цей К.. Гипотеза, подлежащая проверке, состоит в том, 
что т, предполагается одинаковым в обеих сериях опы- 
тов. Матрица К, при этом считается одной и той же 
в обеих сериях опытов. Пусть п, и И, —число опытов 
в первой и второй сериях, Х; и Х,—случайные выбо- 
рочные средние в двух сериях опытов, И: и Ц, — матрицы, 
_ столбцами которых служат выборочные. значения наблю- 
даемого случайного вектора Х в двух сериях опытов, 


т — размерность наблюдаемого вектора. Х. 
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°  Соглаено. результатам ИЕН - 17 и 5. 25 случай- 
ная величина 


КиО (Х7 хр н-х,-Х) 


- ‘имеет Р-распределение {[м,п.+п,-т-1(). Так как = 


распределение не зависит от неизвестных т; и ее: 

функция Е 

‹(Х,, Х,, нули ур рн.) 
х - 72) 

удовлетворяет всем необходимым условиям. Поэтому 

можно принять следующее решающее правило для про- 

верки гипотезы о равенстве математических ожиданий 

в двух сериях опытов: если 


(ХР ХО НХ, Хр, (46) 


пап (па-- по —т 


где [„— верхняя 100 (1 —)-пронентная точка Р-распре- 
деления [м п‚+и,-т-1, ТО гипотеза принимается; в про- 


тивном случае она отвергается. В первом случае гово-_ 


рят, что расхождение двух средних незначимо и может 
быть вызвано только случайностью результатов опытов. 
Во втором случае говорят, что’ расхождение значимо и 
маловероятно, что оно вызвано только случайностью 
результатов опытов. Значимое расхождение указывает 
на возможность различия математических ожиданий 
в двух выборках (вследствие неконтролируемого разли- 
чия в условиях опытов). Величина }» практически опре- 
деляется по таблице 6 по данным @, [=№и Е=т + 
п, —т—|. 

В частном случае скалярной ера величины 
Х (п=1) можно преобразовать полученное, решающее 
правило так, чтобы вместо Ё-распределения пользоваться 
Т-распределением. На основании результатов примера 
5.14 случайная величина а 


пай» (п1-- п — 2) 
тя, 
имеет т -распределение на Так как это распре- 


- деление не зависит от т, и Я =. то за функцию. 


ф(Х., Х,, Н). можно принять статистику Г. Тогда по- 
лучим следующее правило: если 


1. -=Х е. ий — (Ел Я _— (47) 


пап (п-- п — 2). 


ЕР | ры 2 359 


— = 14 380, 52=23 354, й= - 5.=37 734, 1, =2,013 и 


где #, определяется уравнением Р(Т|<Ь)=а, то 
гипотеза принимается; в противном случае она отвергается, 
расхождение между двумя средними признается. значимым. 
Практически {», определяется по таблице 3 по данным & 


иА=и п, —2*). Ясно, что (46) при т==1 совпадает 


с (47) (пример 5:15). 

Для ‘дополнительного подкрепления решения о том, 
что расхождение двух средних незначимо, можно вычи- 
слить вероятность получения расхождения, большего 
чем наблюденное. В случае скалярной` величины Х эту 
‘вероятность Р(]Т|>|#), где г — полученная в резуль- 
тате опытов реализация величины Т, можно найти по 
таблице 3. Значение этой вероятности Р (Е > | в общем 
случае согласно результату примера 5.26 равно значе- 
нию функции распределения для В-распределения с па- 
раметрами Е Е || )/2, д=т/2 в точке 9 =. 
= [1+5 т//(и. + п,—тр—1)]* ‚ где }— полученная в ре- 
зультате опытов реализация величины Л **). — 


`Пример 10. В условиях примера 6 по второй выборке, содер-_ 


жащей результаты 30 опытов, получено среднее 23,5 и $>= 354. 


Проверить гипотезу об равенстве математических ожиданий в двух 
сериях опытов, приняв @&=0,95. 


`В данном случае п: =20, пз=30, т=1, д. =11,9, д, ==93,5, 


мы 50.37 734 
к [1 — Хо |=| о [=5,6 < 2,013 Е Г 


‚Поэтому гипотезу о совпадении математических ожиданий можно 


принять. Для подкрепления этого решения. найдем значение { ве- 
личины Т, полученное в результате опытов: 


20.30.48. 
== Е 50-37734 (79— —23,5) = —0,692. 


После этогь по таблице 3 находим для &=48 Р(|Т|>0,692) =0,493. 


Таким образом, с вероятностью 0,5 можно получить еще большее. 
расхождение средних, чем наблюденное. 


6.4. Исключение аномальных наблюдений. Изложен- 


‘ный метод проверки гипотезы о совпадении математи- 


ческих ожиданий в двух выборках можно, в частности, 
применить для проверки гипотезы об аномальности на- 


*) Для вычисления величины Т для проверки гипотез: о равен- 
стве т» данному числу и о равенстве двух ‘математических ожиданий 
служит программа ТТЕЗТ [94]. 


_ **) Для В-распределения тю ИоЛеления можно вычи-. 
слить на ЭВМ по программе ВОТК [94 
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блюдения, давшего в результате изолированную точку, 
удаленную от группы остальных экспериментальных: . 
точек. При таком «выскоке» экспериментальной точки из 
группы остальных точек естественно возникает мысль, 
что этот. «выскок» произошел из-за неконтролируемого 
нарушения условий опыта и поэтому «выскочившую» 
точку следует отбросить, признать аномальной. Ясно, 
что для принятия такого решения нужны веские осно- 
вания. Так возникает задача проверки гипотезы об ано- 
мальности наблюдения. — | 

Предположим, что в результате п-+-| опытов одно 
значение случайной величины оказывается на значитель- 
ном удалении от группы и остальных значений. Без 
‚потери общности можно считать, что отклонение про- 
изошло в (п-|!)-м опыте. Для проверки гипотезы об _ 
аномальности значения х,., достаточно рассматривать 
его как вторую выборку, состоящую из одной экспери- 
ментальной точки Х„-.:. Гогда можно будет применить 
изложенный метод. В данном случае п, =п, п, =1, 
Х, =Х, +1, 9, =0 и (46) дает следующее решающее пра- 
вило: значение Х„., наблюдаемой величины Х признается 
аномальным и отбрасывается, если | 

7 т 
(Хх! —Х ЗА: а: — А» ‚} > Го Я т , 

где |„--верхняя 100 (1—@)-процентная точка Е-распре- 
деления [„.„_„ ([); в противном случае оно учитывается. 

Точно так же в случае скалярной величины Х (47). 
дает правило: значение Х‚., признается аномальным и 
отбрасывается, если 


|5 
м 


где {, определяется по таблице 9 по данным & и К = п—1; 
в противном случае Х„., учитывается. 


Пример 11. В результате 21. опыта получены 20 экспери-_ 
ментальных точек примера 7 и еще одна точка (50, 40), удаленная 
от группы остальных. ПраЕрНт гипотезу об аномальности этой 
точки. 

По. таблице 6 для а 055. [=т=2, ё=п—т —18 находим 
[‚„=3,55. Так как 
[2 ха тг ‘(х—х.)=1[0,5113 (50421 ,05)—0, 8358. (50--1 ‚05) (40--2 05)-- 

239 


0,7287 (40--2,05)*].10=3==0,827 > > 3,55 - 0-18 =0,414, 


то точку хо! =[50 40]Т можно признать аномальной и исключить. 


ыы 


Глав а. ег 


ТЕОРИЯ ОЦЕНОК. 


$ 1. Общие свойства оценок 


Е екоорые соотношения. Для м статисти- 
ческой характеристики можно найти много различных 
оценок. Мы это видели на примере оценок дисперсий и 
коварнаций. Другие оценки для дисперсии` нормально 
распределенной случайной величины можно получить, 
выразив дисперсию О„=, из формулы (3.89) через 
_ любой четный центральный момент й,, и заменив в по- 
лученном равенстве момент и,, его оценкой. За оценку 
математического ожидания случайной величины с сим- 
метричным распределением можно принять ее выборочную 
медиану, т.е. среднее Х.у., из экспериментальных зна- 
_чений величины Х, пронумерованных в порядке возра- 
стания, при нечетном числе опытов п = 2%--| и полу- 
сумму двух средних (Х,--Х..1)/2 или величину АХ, - 
+а-^) Хы, ЛЕ(0, 1), при четном числе опытов п = -оу. 
Естественно стремиться находить в известном смысле 
наилучшие оценки с минимальной дисперсией или сме- 


щенные оценки с минимальным средним квадратом о 


ошибки ($ 6.2). Для этого необходимо изучить общие 
свойства оценок и установить. Е общие методы 
_их нахождения. 


Как и прежде, будем рассматривать результаты опы- 
тов (не обязательно независимых) Х!, ..., Х„ как ко-. 
ординаты п-мерного случайного вектора (строки случай-_ 


ной пхт-матрицы в случае т-мерного наблюдаемого 
_ вектора Х) И и обозначим через в (и| 9) плотность вели- 
чины О, зависящую от неизвестного параметра 9. Любая 
оценка параметра 0 согласно определению п. 6.2.1 пред- 
ставляет собой функцию результатов орытов. И, не за- 


висящую от 0: 9 = =ф(И). Математическое ожидание этой 
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_ опенки в общем случае зависит от параметра. 0:_ 
мб = Мф (= \ ф (и) 2 (и |9) ди = ть (0).. (1) 
Для несмещенной оценки © по определению ть (0) =6. 
№ Будем считать в общем случае параметр 0 г-мер-_ 


ным вектором и соответственно через 0/09 обозначатът = 


оператор градиента: 9/00 = [9/00,...0/00,|'. Тогда будем 


иметь 91/09 =[9/90,...09/00,| и, дифференцируя. ‘формулу _ 


(1) по 9, получим 


: д'в (и|0 
ть (0) =: \ ф (и) Е _ ) Чи = 


д' 18) 97 та (И |0) 


=} 9 ОВ 


° Здесь, как ив $ 5.1, -те (0) представляет собой. квадрат- 


ную матрицу с элементами тр (9) =дт, (0)/00,, где 
ИН, 25. (0) — координаты вектора у (0). "При этом. 
производные функции тша(и| 09) по 9,, ..., 0, могут су-_ 


ществовать в обычном смысле или как обобщенные функ-_ 
ции, содержащие линейные комбинации 6-функций. Точно _ 


так же, дифференцируя формулу 


© 


К е(и |0) аи=1, 


находим 


деи |8) - Гоша е | 
О ии =0, = 


99 


— © : _х ыы 


ИЛИ х 
| шеи 19) 
- | М 90 


Отсюда и.из (2) следует ‘формула 


м (9—0) 27=м | 9—9 | т (0). 


— 
Таким образом, случайный вектор 

_ дшв (0 |0) ^ 
2 = ВЕ = 
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м оао] (2) | 


=0. г 


имеет нулевое математическое ожидание 1 и 2го ковариация 
с ошибкой 9—6 оценки 6—9 (() равна матрице произ- 
водных то (6) вектора М@ = то (0) по 6,, ..., 0,. 4 

1.2. Нижняя грань рассеивания оценки скалярного. 
параметра. Из. равенства (5) можно получить нижнюю 


` грань рассеивания оценки 0. 
№ Рассмотрим сначала случай скалярного пара- о 
метра 0. В этом случае все величины в (5) скалярные 
и к математическому ожиданию в левой части можно 
применить неравенство (3. 45) для моментов второго по- 
`рядка. Ва рННХ случайных величин. В ре риа по- 
лучим. - с 
[ие (6) < = м (6 — -0)?. М2, 
ИЛИ 
[п (9) < М (0—9):.02. — (6) 
Отсюда в ‘случае, когда РЕ < оо, получаем неравенство | 


> [то (0) № [те ФР. 
М (6 — на - 07 рад 112/06 › (7) 


`, 


где для ‘краткости опущены аргументы И ид функции 5. 
Это неравенство впервые получено Фишером [111] 
(см. также [28, 45, 84, 114]). 


В частном случае несмещенной оценки © ОЕ 
М (9—6) =р® и ть (7) принимает ВИД 


| 
_ре> о о 
Это неравенство определяет нижнюю грань (не обяза- 
тельно точную) дисперсии несмещенной оценки. Никакая 
несмещенная оценка не может иметь ‚ меньшую дисперсию, 
чем правая часть (8). 

Если 07 = со, то неравенства (6) и (7) становятся 
_тривиальными и не определяют нижнюю грань среднего 
квадрата ошибки. Это имеет место, например, в случае 
разрывной функции &(и|9) с зависящими от 09 точками 
разрыва. В этом случае производная д]п 8/09 содержит 
б-функции, а -(0 п 8/09)? не Зществут (квадрат б-функ- 
ции не имеет смысла). — 

1.3. Эффективная оценка. скалярного ‘параметра. 


Оценка 6, для которой в (7) имеет место знак равенства, 
называется эффективной. 
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» По доказанному в 6 3.3 знак равенства в (6), а 
следовательно, и в (7) получается тогда и только тогда, 
когда случайные величины 09.0 и. 2-=0 п 8/00 связаны. 
линейной зависимостью: | 

91 и19 

ее с(0—0) -е (И) 8 (9), 
где коэффициент пропорциональности с может зависеть 
от 0, но не зависит от И. Отсюда и из (4) следует, что 


математическое ожидание эффективной оценки © всегда‘ 


‘равно 0, М0 =60. Таким образом, любая эффективная 
оценка является несмещенной. 
Коэффициент св (9) легко определяется. Имея в виду, 


что для эффективной оценки р9 = 1/07, из (9) находим 


р7 = с*р0 = с*/)7, 


откуда следует с=07 = д 2/08. | 

Ясно, что эффективная оценка существует тогда и 
только тогда, когда функция дша(и|09)/00 представима 
в виде (9). В этом случае ‘правая часть неравенства (8) 
представляет собой точную нижнюю грань дисперсии 
для несмещенных оценок: 


| __ 
ЕВ. (10) 
7 ПБдт о) 06 — Ао 


Если функция О] 56/09 не может быть представлена 
в виде (9), то эффективной оценки не существует. В этом 
случае правая часть в (8) не является точной нижней — 
гранью дисперсии несмещенной оценки. > 

Заметим, что из несмещенности любой эффективной 
оценки следует, что ни для какой смещенной оценки 
в (7) не может быть знака равенства. Тем не менее, во 
всех случаях, когда существует эффективная оценка, 
существует смещенная оценка более точная, чем эффек- 
тивная, т. е. с меньшим средним квадратом ошибки. 
Однако несмещенными оценками обычно не пользуются, 
чтобы избежать систематических ошибок при небольшом 
числе опытов п. При большом же`и заметного выигрыша 
в точности по сравнению с эффективной оценкой не по- - 
лучается. Поэтому эффективными оценками пользуются — 
всегда, когда они существуют. _ 
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_ правой части неравенства (8) к левой называется эффек- 
тивностью этой = и обозначается е ($): 


‚ Для любой несмещенной оценки 9 =Фф(И) отношение 


| 
26.02 р0Фотв08` 


еф)= == 


ставляет собой положительное число, меньшее единицы. 
Из (9) ясно, что если эффективная оценка существует, 


_то она единственная, так как формула (9) не может быть 


справедлива для двух различных функций Ф. 
Оценка, эффективность которой стремится к единице 


при неограниченном возрастании числа. ОПЫТОВ, Назы- 


вается асимптотически эффективной. _ Е 
1.4. Нижняя грань рассеивания оценки векторного 


_ параметра. Перейдем к случаю векторного параметра 6. 


Перепишем (7) в виде’ 


= о ОЕ о Е и 
| - Е, ——— (12) 


где 7. =М (0—6) —второй начальный момент ошибки 
оценки 9=9(0), а Е —вспомогательная переменная. 


_— Таким образом, квадратичная форма одной скалярной 
переменной Ё в левой части (12) ни при каких значе- 


ниях & не может быть больше квадратичной формы 
в правой части. Это наводит на мысль, что, построив 
аналогичные квадратичные формы для случая векторного 


параметра 9, мы сможем а: этот факт на 


многомерные оценки. - 


Пусть 9—=Ф(И) —оценка г-мерного ‚векторного пара- 
метра 0. Момент второго порядка овИОки этой оценки 
п реляется формулой 


- Го. =М (9 —0) (От — 0"). 
Естественно предполагать, что между координатами век-. 


тора 9—6 не. существует линейных зависимостей. В этом 


случае матрица Гу обратима. Естественно также считать, 
что между координатами вектора т. (9) не существует 


° завйсимостей вида ф (т, (0), ..., т, (0)) =0. В таком слу- 


_ чае матрица те (0) обратима. При этих условиях обобще- 
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ние неравенства. (12) на случай ны параметра. у | 


имеет вид | 
ОКЕ, = — 9) 


Я 

1й 

я ‘А 

у МАЙ 
ИУ” 


(11) 
_ Эффективность любой эффективной оценки равна 1. 
_ Эффективность любой другой несмещенной оценки пред-. 


где через Их ДЛЯ краткости обозначена матрица, ‘обратная 
то, Ио = (то)-*, а Е — вспомогательная векторная Е 
‚ ная (матрица-столбец). 

№ Чтобы доказать (13), вычислим момент второго 
порядка случайного вектора _ | 


т У = Го: (6 и 
Имеем | 
Ро = МИРЕ РУМ 6— 0) (97—07) г 
там (@—8) ах —им2 (67—87) ге игать, 
Отсюда. учитывая, что 
Е = = М22т — 
М (6—0) 27 = тф= и, МЕ = ОТ) = т и-ыд-, 
получаем 
Е Гы та а 


Но любой момент второго порядка представляет собой 


неотрицательно определенную матрицу ($ 3.3), вследствие — 


чего &7Г.Е >20 при всех &, откуда и следует (13). В част- 

ном случае несмещенной оценки 9 т (6) =0, То м 
Го и неравенство, (13) принимает вид — к: 
РККА. 4 о 04 | 

Г сометрически: (14) означает, что эллипсоид &ТК, ЕС. 
при любом с расположен целиком внутри эллипсоида 
`ЕТКо\&=с для любой оценки 9=Ф(И). Следовательно, 
эллипсоид рассеивания ЕТК" =1 любой несмещенной 
‘оценки 9—Ф(0) ре изнутри фиксированным 

эллипсоидом &'К „Е == | 
Е Е. 


ре 
К =М 00 _ 


случайного вектора Е =дт —] называется вы 
ной матрицей Фишера. 

1.5. Эффективная оценка векторного параметра. е- 
в (13) имеет место знак равенства, то оценка 9=Ф(И) 
‚называется эффективной. Если произведение ковариаци- 
онной матрицы Ку состоятельной оценки 9=Ф(И) на _ 
информационную матрицу ера К, стремится к еди- — 
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НИЧНОЙ матрице при неограниченном увеличении числа 
опытов п, то оценка 9 = ф(ЦО) называется асимптоти- 
чески эффективной. 

Из приведенного доказательства соотношения (13) 
следует, что знак равенства в (13) будет тогда и только 
тогда, когда Г.=0 и, следовательно, с. вероятностью 
единица У = 0, т. е. 


= с 

Го (9—6). (15) 
Отсюда, принимая во внимание, что согласно (4) М7 = 0, 

заключаем, что математическое ожидание эффективной” 


‘оценки © равно 0, т. е. что любая эффективная оценка 
‘несмещенна. Но в случае несмещенной оценки Гъ.=Къ, 
то=ро=Ги-в силу (14) Ку =К,. Следовательно, ' (15) 
можно записать в виде 


Ве 0—0) К, [0—9]. (16) 


Это условие необходимо и достаточно для того, чтобы 


9—=Ф(И) было. эффективной оценкой векторного пара- 
метра © 

1.6. Нижние грани дисперсий координат оценки век- 
торного параметра. Из (16) ясно, что если эффективная 
‚ оценка векторного параметра существует, то она един- 
_ ственна. 

Из сравнения (16) с условием (9). ‘эффективности ска- 
._ лярной оценки ‘следует, что координаты эффективной 
`® оценки векторного параметра 0 являются эффектив- 
_ ными оценками. соответствующих координат вектора 0 

‚ тогда и только тогда, когда ‘ковариационная матрица К, 
‚вектора 2 диагональна. 

_}№ Из доказанной неотрицательной определенности 
матрицы А, —Къ вытекает неотрицательная определен- 
ность матрицы К. —К;'*). Отсюда следует, что диаго- 
нальные элементы матрицы К. не могут быть меньше 
соответствующих диагональных элементов матрицы К; 
Это дает следующую нижнюю границу для дисперсий 
оценок координат вектора 0: 


06, > К+„ЛК.|, | (17) 


*) Для доказательства достаточно привести обе матрицы А, и 


Ко к диагональной форме одним и Тем же линейным  преобразо- 
ванием, 
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где К*, —алгебраическое дополнение элемента &„=02,= 
М9 е/00, |? в определителе |К„| РАЦ К.. Эта 
НИЖНЯЯ’ граница достигается для координат эффективной 
оценки © вектора 0. 

Заметим, наконец, что так как в случае эффективной 
оценки 0 оценка 9, параметра 9, является, эффективной 
только в случае диагональной матрицы К, то из полу- 
ченных результатов вытекает неравенство 


К [2 Пр, 
причем знак равенства имеет место тогда и только тогда, 
когда матрица К, диагональна. 4 - 


Таким образом, в случае оценки неизвестного вектор- 
ного параметра 9 нижняя грань (17) дисперсии коорди- 


наты 9, его несмещенной оценки © может быть больше 


Ре - грани (8) дисперсии несмещенной оценки 0, па- 
раметра. 9, в случае, когда 09, является единственным 
неизвестным скалярным _ параметром. Объясняется это. 
‚тем, что во втором случае оценками могут служить функ- 
ции результатов наблюдений И, зависящие от известных 


остальных координат вектора 9, вследствие . чего класс ,. 


уса оценок во втором случае шире, чем в первом. 
1.7. Достаточность эффективной оценки, Докажем, 
что эффективная оценка всегда достаточна. 
№ Пусть 9 =Ф(И) —любая оценка г-мерного вектор- 
ного параметра 0, ф,., (И), ..., фи, (И) —любые: скаляр- 
. ные статистики такие, что при всех реализациях и. ма- 
трицы И якобиан функций Ф, (и), ..., 9, (и), Фу: (и), ... 
—,:.) Фил (И) по. элементам и», (р=1, ..., т; 9=1, +... П) 
отличен от нуля и конечен: | | 
— т 9 (Фь ++, Фип) | 
= бы [15 9 : 
Тогда, вводя векторную статистику У с. координатами 


У Фр (И). ФЕТ, ‚. 5, тит), 


можно выразить плотность результатов наблюдений и 


через. совместную плотность й (6, 19). оценки О и ста- 
тистики` У формулой (5.31): д 


8 (и |6) =1 6, у10) [4 |. 
Но 1 (6, и] 0) =р (0169) 9 (16, 9), где о дот 
оценки ©, а 9(и1|0, 9) — условная Плотность статистики т: 
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и 


_ Следовательно, 


= . 200 9 (19, 0) ||. 
° Так как якобиан / не зависит от 09, то отсюда следует, 
что. = 
д1пе(и| 6) др, отб 9) _ (18) 
ее | 


а и из (16) ДлЯ слу эффективной оценки @ по- 


дптр (0 8 т" 9.6) 


Левая часть не зависит от у. Следовательно, И зравая 
часть не зависит от у. о. 


оно 9) д т9 (у| 8, 9). 


9 (910, и 0 


-9 


Но для любой плотности, в том числе. и для д, справед- 


_ лива реа (3). Следовательно, 0119 (010, 9)/09 =0 и 


Опр (916) 


К, (@—0). (19) 


а Плотность 9(и1б, 9) в этом случае не зависит от пара- 


метра 9 ни при каком выборе функций Ф, +1, ...-, Фи, 
что и доказывает достаточность эффективной оценки. 
Таким образом, для того чтобы оценка 9 была эффек- 


‘тивной, необходимо и достаточно, чтобы она была до-_ 
_статочной и ее плотность удовлетворяла условию (19). 


1.8. Случай независимых опытов. В случае независи- 
мых опытов плотность & (и|09) равна произведению плот- 
ностей значений Х,, ..., Х, ‘случайной величины Х, 


‚ полученных в результате опытов. Поэтому, обозначив 
плотность величины Х через } (х|9), будем иметь. 


ша (10) -> шо [6). 


Отсюда, вновь пользуясь независимостью случайных ве- 


личин Х,, ..., А, И принимая во внимание (4), получаем. 


те 0 дп (Х |6) 
22 = равнаыо Ир С 


270. 


в случае скалярного 9 и 
п . 


249 Х»| 0) 07 п/(Хо| 6). 
5 к,= У. ДР 


и, следовательно, 


2 99 — 99 
р, 9=1 


= тр (Х, будт 1 Хр! 6 
=> м ыиС |6) те ак, 


ге. А =М и [© шп }/00) (9 [п 109)] — коварнационная матри- 
ца случайного вектора. 


ие. 


В случае векторного 0. Вследствие этого неравенства @) | 
и (8) в случае АО 9 принимают вид 


= [и (9) — 
е М (0. а = пр -: п {/90 84 (20) Е 
| - э 
р0 > Работ йоб, г 


а условия (9) и (16) о бондиВНОСт оценки 9—+(0) за- 
пишутся в виде 


> о) == [Ф (2, ты ь #3 г | _ (22) 


где ак. К рдш[/00 в случае скалярного‘ пара-. 


метра 9. Таким образом, эффективная оценка ®©9== 
=Ф(Х,, ..., Х„) существует тогда и только тогда, когда 
плотность [(х|9) наблюдаемой величины Х при всех 
х,..., х, удовлетворяет соотношению (22) при Е. 


| функции ф. 


Пример `1. В случае. оценки математического ожидания т и 
дисперсии О НормлаНО ых случайной величины =: 


„шр(х| т, р=— ба 50 т) 


дп} _х—т та 
ат = ЭВ 20? 


п : 
ам хь | т, р) _ ЕЕ = 
Е=1 - ‚ \Ё у ` 


НЕ о м-в ` 


Е 
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_ Из этих равенств следует, что выборочное среднее Х представляет 
собой эффективную оценку математического ожидания нормально 
распределенной случайной величины, а эффективной, оценки диспер- 
сии и эффективной оценки векторного параметра (т, О) не сущест- 
вует, так как условие (22) удовлетворяется только для одной коорди- 
наты т этого параметра *). Так как. 


_д1п т р. р ФНЕРОЕ. 

р 09). 20 

то правая часть неравенства (21) равна О/п для оценки т и 20?/п 
для оценки ДР. Первая из этих граней, как видно из (6.13), совпа- 
_ дает с дисперсией Х, как и следовало ожидать для эффективной 
оценки. Сравнивая вторую из этих граней с дисперсией оценки Б 
_ (6.19), видим, что эффективность. оценки Б равна (п—1)/п. Так как 


(п 1)/п —1 при п—+ 0, то оценка р асимптотически эффективна. 
>. Так как 


р 


я а т У аки пд ии п, 
= 1%: 


[ 


то совместная плотность результатов опытов выражается ‘в виде 


— (дп) - п С ЕН 
еб, „о жыт, )= др), ехр | ит) 2} 


т. е. зависит только от значений статистик Х и 5 и не зависит 
_ непосредственно от х:,..., х„: На основании последней теоремы 


п. 6.2.2 отсюда следует, что векторная статистика (Х, $5) достаточна 
_ для параметров т, О. По. доказанному в п. 6.2.2 и любая двумер- 


ная функция величин Х, $ является достаточной статистикой для 


тир. В частности, вектор [Х Б]Т, так же как и [Х О*]Т, пред- 
ставляет собой достаточную оценку векторного параметра [т О]Г. 

® Пример 2. Совершенно так же доказывается, что в случае 
оценки математического ожидания. т и ковариационной матрицы К 


‘нормально распределенного вектора Х выборочное. среднее Х является 
‚ единственной эффективной оценкой вектора т, К = $/(п — 1) — асимп- 


 тотически эффективной оценкой матрицы К и что пара Х, 5 является 
‘достаточной статистикой для т, К. Из последнего факта вытекает, 


что пара 5. К, так же как и. г К*, представляет собой. достаточ- 
‘ную оценку для т, К. и 


1.9. Случай дискретной наблюдаемой величины. Рас-. 
смотрим теперь частный случай, когда наблюдаемая 
случайная величина Х дискретна. Обозначим через 
хп, ..., ХМ ее возможные . значения, а через 
р: (6), ..., Ом (0) их вероятности. В этом случае плотность 


и Если математическое ожиданиё т известно, то: оценка == 
(Х—т)/п ИСеаСЕИ р эффективна. 


’ 
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и 
28% 


Г(е10) определяется ны 


Н(х|0) = х ее: _ (93). 
Если значения х®, ..., х величины Х не зависят от 
неизвестного параметра 6, а и р: (8), . .., Рм (0) 
дифференцируемы по 60, то 

д1(х| 0 др, (0) —_ а 

ыы $ = 6 (х Е (24) | 


ду 


Отсюда видно, что отношение (0//00)/ имеет значения 
(др./00)/р, в точках х=х“” (у=1, ..., №) и остается 
‘неопределенным во всех других точках. Поэтому 


М 
о, о д]пр, 9Т ПР, „ 
— ь 


К= м ы ——*-—5-*). (5) 


У=1 
Обозначим через м, число появлений значения хо 
(ЕК ‚ М) величины Х при п опытах. Из (22) сле- 
_ дует, что > октаноя оценка 9=Ф(М,, ..., М») пара- 
метра 9 существует тогда и только тогда, когда при 
любых целых неотрицательных числах т., ..., Тл, 
а. АЕ п, 


у т [ф(тьь ..., ть) -— 0]. (26) 

у=1 
*) Для строгого вывода этой формы выберем настолько малое 
> 0, чтобы каждый интервал (х”— в, х”-- =) не содержал воз- 


а (\ : 
можных значении величины > © отличных ОТ х 2. и рассмотрим слу- 


чай, когда плотность }(х |0) величины Х определяется формулой 
М 
г Р(х 10) = У, р, (0) 8, (х— х), 
м=1 , 
где 6, (х) = 1/2 при |х| <и 6, (х) =0 при |х| > в. Тогда получим. 


91} __ ОР, (У) ЗЕ т 
—в =—56 при [&— | <= и 


01 оо) |0) 07-1 р о тр А, 97 ШР 

| пл (х пр (х А > ь тр, 

к= =} Гав Ур. 
У=1 У =. 

А так как это справедливо при любом. => 0, то (25) справедливо и 

В пределе при = —0. 


` 


7-9 


` 


Пример 3. В случае оценки вероятности события в каждом 
опыте наблюдается число появлений этого события — дискретная слу- 


- чайная величина с двумя возможными значениями О0и 1, вероятности 


которых равны соответственно 4 =1— ри р. Неизвестным раЕтРО 


служит р. В данном случае х Н 
| Эшр _1 Оф 
др иЕ ор 1—2. 9 


И при любом числе появлений т события 


и: ое т и (м ь 
9 Я. в 


Таким ее условие (26) удовлетвофяется, и, следовательно, су- 
ществует эффективная оценка вероятности р, представляющая собой 
частоту ` события. Коэффициент с в данном случае равен п/ра. Фор- 


мула (25) дает. 


| Эт}. р 9 | 
К=р к = — 
‚Эр р” ва 29 
И неравенство (0) принимает вид 


‚ ы 


м (Р— ТОТ и (р) ра. 


где ту (р) = МР. Из (6. 7) следует, что здесь получается знак ‘равен- 


ства, ы за оценку Р вероятности р принять частоту. Это еще раз 
подтверждает, что частота является эффективной оценкой вероятности 
события. 

Приме р. 4. В случае, оценивания вероятностей р, ..., рм зна- 


чений х:,..., хм дискретной случайной величины Х 0 = [р....рм- 11, 
Вм=1—р,—...-— ма, и, следовательно, 
дптр, 95. дЭшрм | > =. 
НВ: , м. Е (и=1, ...у 1), 
ЭР, Р\, ОР, р} 
д пр т т п /т п т т 
№ 
и (=, 


'Сравнив_ это равенство с (26), приходим к заключению, что вектор 


частот [Р... .Р М1. Ея собой эффективную оценку Е: 
ного параметра [р1.. _1]7. Так’как матрныя 


я. 
К 00 00. 


= 
- р-р. Ра» 2. 
5 рлр р. С-ЕРм°... Ри. 
2-1 -1 
: | Рм Рм ++. Рм-1 7 ром - 


: 


в данном случае не диагональна, то ни одна из частот Ра, .Рм по 
отдельности не является эффективной оценкой соответствующей вероят- 
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«аи абы. имя мы ла и 


ности. Это объясняется тем, что в случае одной неизвестной вероят- 
ности р, при известных остальных можно построить несмещенную 


оценку, ‘зависящую от известных вероятностей, обладающую меньшей 
дисперсией, чем частота. | 


_ $2. Основные методы нахождения оценок. 


2.1. Метод максимума правдоподобия. Наиболее важ- 
ным с теоретической точки зрения общим методом нахож; 
дения оценок является метод максимума правдоподобия- 
Фишера. Этот метод основан на принятии за оценку не- 
известного параметра 9’ такого его значения, при котором 
плотность результатов опытов Х!,..., А„ достигает наи- 
большего значения при полученных реализациях ЕЕ 
..., Х, результатов опытов Х., +.., Х,: ыы. 


8 (и 9) =&(х., ..., х, |0) = шах. (27). 


Функция &(х., ..., Хх, |9) называется функцией правдопо- 
добия, а значение 0, при котором она достигает наиболь- _ 
‘шего значения, — оценкой максимального правдоподобия па- 
раметра 9. Оценки максимального правдоподобия обычно 
определяют, максимизируя п&(х,, ..., х, |9), пользуясь 
тем, что у= ш х—строго возрастающая функция.- 

В случае независимых опытов 


Е Зло (28) 


где 1(х |6) — плотность наблюдаемой случайной величины 
Х. Если }(х|9) при всех х имеет непрерывную производ- _ 
ную по 9 (непрерывный градиент В случае векторного 0), _ 
то для определения оценки максимального к - 
Ее уравнение. 


о (29) 


К =0 


В случае г-мерного векторного параметра 0 это уравнение 
представляет собой векторное уравнение той же размер- 
ности, т.е. систему г скалярных уравнений относительно 
координат вектора 0; Естественно, что ‘оценками пара- 
метра 9 могут служить только те решения уравнения- 
максимума а (29), которые зависят от резуль- 
татов опытов х,,..., х,. Если уравнение (29) имеет реше- 
ния, не зависящие от х,..., Я,» ТО их следует отбросить. 
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Если существует эффективная оценка 9 =ф(х,, ...,х,), 
_ то на основании (22) уравнение максимума правдопо- 
_ добия (29) принимает вид 


Еее ии, м) 9—0. 


Отсюда следует, что если существует эффективная оценка 
параметра 9, то она является единственным решением 
уравнения максимума правдоподобия. 


Предположим теперь, что оценка б@=Ф(х,,..., х,) 
достаточна для 09. В этом случае плотность 9 (|6, 0) 
в (18) не зависит от 0 и на основании (27), (28) и (18) 
раНоние роВмуа правдоподобия (29) принимает вид 


ат р'(0 |0 
0. = -- 80) 


Отсюда видно, что в случае существования достаточной 
оценки (или статистики) для 0 все решения уравнения 
максимума правдоподобия являются функциями этой 
достаточной оценки (статистики). По  доказанному 
в п. 6.2.2 отсюда следует, что если существует достаточ- 
ная статистика для 9, то все решения уравнения макси- 
мума правдоподобия являются достаточными оценками 
параметра 0. 

В случае дискретной наблюдаемой случайной величины. 
Х с возможными значениями х*®, ..., х^№; вероятности 
которых равны р, (6), рн (0), функция ое 
имеет значение д]пр,, (169 вотоЧке: (=, ...) М). 
Поэтому, если т, из экспериментальных значений . а 
...› Х, Наблюдаемой величины Х равны х“®. (у == 1, ‚М 
т-...+туи=и, то уравнение максимума правдоподо. 
бия (29) имеет вид | 


М 
91 0 : | 
У", о, (31) 


Оценки максимального правдоподобия при достаточно 
общих условиях состоятельны, асимптотически нормальны 
и асимптотически эффективны [35, 45, 86]. 


те я 
| Пример 5. В случае: оценки вероятности события р уравнение 
(31) принимает вид (пример 3) 


в 
з 
5 
З 
| 
з 
АА 
|5 
| 
ча 
ий 
> 
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где т— число появлений события. Единственным решением этого 
уравнения является частота, р=т/п, в полном согласии с тем, что 
частота представляет собой эффективную оценку вероятности р.. 

Пример 6. В случае оценки математического ожидания ти 
дисперсии О нормально распределенной случайной величины Х на 
основании результатов примера |`уравнение максимума правдоподобия 
(29) НЕК собой систему двух уравнений 


п - я ея | 2_ к 
5 @“—т=0, 208. 1% ит) В | =9. 


Первое из этих уравнений имеет единственное решение т==х (Х — эф- 
фективная оценка). Подставив это значение т во второе уравнение 
‘и решив его, получаем 


= Гу оеВк 


Е=1 : 
Таким образом, метод максимума м дает в данном случае 
же я * 

выборочное среднее Х в. качестве оценки математического. ожидания 
т и смещенную оценку О* для дисперсии В, 

Пример 7. В случае оценки математического ожидания т и 
ковариационной матрицы К нормально распределенного г-мерного 
СУ вектора Х 


шр(х| т, ю-—5 ш [С [-— зи) 5 отп си—т = 


1 ор | 
=> Ш|С |5 п (27) — > сы (Хр— Тр) — тд, 
4= ‹ 


где С=К-!. Так как матрицы С и К связаны взаимно однозначной. 
зависимостью, то при составлении уравнений максимума правдоподо- 
бия можно взять производные |п } (х | т, К) по элементам матрицы С. 
В результате, принимая во внимание, что производная определигеля 
по любому его элементу равна алгебраическому дополнению этого 


элемента, находим Е 


и: 
9] К 
а >. сз («— ту), | 


== 
` | и => Не (х р —тр) (ха—ту, 


где С ра— алгебраическое дополнение элемента Сро В |С|. Подставляя. 
‘сюда вместо -х, хр соответственно хь, Хь»›, суммируя полученные 
_ выражения по А и приравнивая результаты нулю, получим систему 
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г : [2 
У С5р \ © х5— пт; |=0, 
5 >. = 
п - 
а (р 9=1, ‹.5 г) 


уравнений имеет единственное“ решение : 


‚=> ьо ХЕХ: ($=1, ..., 7). | 


г = 1 5 
Подставив это а во вторую группу уравнений, находим 


А ту (ар о = _ (р, Я Е. Е 
Е = | 


= 


Таким образом, метод максимума правдоподобия дает в данном случае _ 
‘выборочное среднее Х как оценку математического ожидания и сме- : 


щенную оценку К* = 5 /п = (п— 1) К/п для ковариационной матрицы... 

Пример 8. Показать, что если наблюдаемая случайная вели- 
чина Х имеет показательное распределение } (х | ^) = Ле-^х 1 (х), то 
оценкой максимума правдоподобия параметра А служит величина, 


обратная выборочному среднему значению ‘величины Х: Л==1/Х. 
_Эффективна эта оценка или нет? Достаточна ли она? Решить те же 
‚вопросы в случае, когда оценивается параметр *=А-1= МХ. 

‚ Пример 9. 3 случае оценки параметров № и а в у-распреде- 
лении 


ИН п, 


Гео. 


‘уравнения максимума правдоподобия имеют вид 
ее. 
ыы. =) 20. 


Е 
пЛв А, п Пир 0. 
> Геи 


РА, в) = ге" 1 () 


_ Первое из этих уравнений дает. 
А = (и 1). 


Подставив это выражение во второе уравнение, приводим его к виду 


т ГЕИ. 
( = 1 е Е: = 
в Им... тер. 


Это уравнение можно решить методом последовательных приближе-. 
ний, пользуясь таблицей функции Ч (2). После этого найдем оценку 
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2. эх х ее - ‹ * — _ ==> у . г - 2 =” 


р Фе О аофнья бяерры С Ь т-4 т: 5 а ри ыы 5 я А де > 7 ежа .. кхе с 

57 >=. - маи х же С оне = = и оба я. р = ас Зе мес Ы аа тЫ . тЫ ЗЕЕ а рта»: 

ых , ^, $: = 5; : < иск че ы => ЕСО ри а ; > а нь И т. 

г се Е особе ИА А. ЖЕ т Е С а: # аки т = А. 

Г т аа Е ея Е < 75 4—1 2 => : 46 х т 6 $ хе = : < ах ты 
© - е р “ - Е > ад р. я \ < _ > > 
$ 
„ 


Е 
Е у 
| 


параметра ^. Показать, что статистики Х и 5 ХЕ. -Х» доста: 
точны и что эффективных оценок параметров А и ц не существует. 
Обратите внимание на то, что Х служит эффективной оценкой пара- 
метра = (и + ПА- о так же как и в р показательного 
распределения т 
Пример 10. В случае оценки параметра и = МХ в распреде- 
лении Пуассона р, (и) = цуе-В/у! (у=0, 1, 2... ) и а макси- 
мума правдоподобия (31) принимает вид 
о г . 
п. [1 | | 
ое т уз Ут, — | =-—0. — А 
м У=0 


Это уравнение имеет единственное решение 
© 
дут 
п —- 


‘представляющее собой Эффективную оценку параметра и. Но 


в- < [2 с : .П 


< < г 
› Ул, = > Хы 


\=0 1 
так как т, представляет собой число экспериментальных значений. 


° величины Х, равных \%; т.е. число тех хь, которые равны у. Таким 
_ образом, и в этом случае выборочное среднее служит эффективной 
оценкой математического ожидания случайной величины. | 
Пример 11. Во всех рассмотренных примерах выборочное 
среднее оказалось. эффективной оценкой математического ожидания. 
/Чтебы показать, что это не всегда так, достаточно рассмотреть слу- 
чай, когда эффективной оценки математического ожидания заведомо 
_ не существует, например упомянутый в $ | случай разрывной плот- 
_ ности с зависящими от математического ожидания точками разрыва, 
когда правая часть неравенства (7) равна 0. В качестве такого при-. 
мера рассмотрим случайную величину Х, равномерно распределенную 
на интервале (т—@, т-а) с нсизвестным параметром т= МХ. 
- В этом случае } (х | т) = 1/2 при хЕ(т—, т-- а) и функция правдо- 
‚ подобия постоянна и равна 1/(2%)" при всех значениях т, для которых 
Хх Е (т—@“, т-- а) (Е =1,..., п), и равна нулю при всех остальных‘ т. 
Но х„ Е (т-— а, т-- а) при тЕ (хь—@, хь-- @). Следовательно, множе- 
ством значений т, при которых функция правдоподобия отлична от 
нуля, служит. пересечение всех интервалов (х,—%, хь- @) (Е =1,... 
..., ИП), Т.е. интервал (тахх»„—@, пит хь- 9). Любое значение т 
в этом интервале представляет собой оценку максимума правдоподо- 


‚ бия математического, ожидания т. При этом выборочное среднее х 
может и не принадлежать этому интервалу. 

Пример 12. Если надо оценить оба параметра равномерного 
распределения ти @, то, поскольку функция правдоподобия обратно 
пропорциональна ©”, следует взять в качестве оценки & минимальное 
значение @&, совместимое с результатами опытов, т. е. минимальное ©, 
при котором тах х»— @ < п хи-- 9 Таким значением @& будет 
1ере хк— шт хв) /2. При этом для т получаем единственную оценку 

= (тах х‚„-- пшх,)/2. — 
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2.2. Одно свойство метода максимума правдоподобия. 


Для нахождения оценок максимума правдоподобия по- 
лезна следующая теорема: если параметры 9 и 3 связаны 
взаимно однозначной непрерывной зависимостью, то их 
оценки максимума правдоподобия связаны той же зависи- 
мостью. 

> Предположим, что параметры о и 3 связаны взаимно 
однозначной зависимостью $=ф (6), 9=ф-' (3), причем 


функции фиф`* непрерывны. Пусть б— оценка макси- 
мума правдоподобия параметра 9 и $ =Ф(0). Требуется 
доказать, что $ — оценка максимума правдоподобия пара- 
_ метра $3. 

Из того, что 9 — оценка максимума правдоподобия, сле- 
дует, что в (и| 0) < 5 (и| 0) в некоторой окрестности точки 9. 
Отсюда в силу соотношений 0 = ф-1(3); 0=ф-: ($) и непре- 
рывности Фф-* следует, что 8 (и|ф-* (3)) <5(и|ф-: (3)) 
в некоторой окрестности точки $. > 

Если 0 —единственная оценка максимума правдоподо- 
‘бия параметра 0, то &(и|6) < &(и|б) при всех 0 и, следо- 
_вательно, &(и|ф-! (3)) < &(и|ф-! ($). при всех 3$, Т.е. 


$ единственная оценка. максимума правдоподобия пара- 
метра $. < 


Приме р 13. Найти оценки максимума правдоподобия собствен- 

ных значений и собственных векторов ковариационной матрицы о 
г-мерного случайного вектора Х. 

В данном. случае роль параметра 0 играет К’.., а роль параметра 
‚9р— вектор, координатами которого служат собственные значения 
Л, ..., Аг И независимые координагы собственных векторов Фф1, ...,Ф,. 
Покажем, что векторы @ и $’ имеют одну иту же размерность. В силу 
симметрии ковариационной матрицы она полностью ‚определяется 
г ("-- 1)/2 своими элементами Ао при 9—р. С другой стороны, г? 


_, координат векторов Фф:, ..., Ф; связаны г (7- 1)/2 соотношениями 
Е 

(3.62), ФрФа=бра, 9—р. Поэтому число независимых координат 

_ векторов ф:,...,Ф, равно г* —х (г 1)/2. Таким образом, собственные 

значения Л1, ..., Л; и собственные векторы Фф;, ..., Ф; полностью 


‘определяются г-- г? — г ("-| 1)/2 = (/-+ 1)/2 числами. Далее, в силу 
соотношений (3.61), (3.67) и (3.63) в случае различных собственных 
_ значений Л:, .... А; матрица К. и совокупность собственных значе- 
ний Л, ..., А, "и собственных векторов Ф;, ..., Ф; связаны взаимно 
однозначной непрерывной зависимостью. По доказанной теореме оценки 
максимума правдоподобия параметров К х, с одной стороны, и АИ, 


Фи, ..., Ф», © другой стороны, связаны той` же зависимостью. Следо- 


вательно, оценками максимума правдоподобия собственных значений 
и, А и собственных векторов ф:, ..., Ф; матрицы Ку служат 


* = * * * 
собственные значения А1, ...,Л, и собственные векторы фл, ‚.., Фи 
а а ь 


РТ ИКТ ЧИ ЕР 7 


матрицы г 


= у ВОО 
ума п ЕО 
(которая согласно результату’ примера 6 служит оценкой максимума 
правдоподобия матрицы К,;). | 
В случае, когда среди собственных значений А1, ..., А, имеются 
совпадающие, соответствующие собственные векторы определяются 
неоднозначно. Однако и в этом случае можно утверждать, что соб- 
ственные значения и ссбственные векторы оценки максимального 
правдоподобия матрицы К, представляют собой оценки максимального 
правдоподобия собственных значений и ссбственных векторов, соот- 
ветствующих простым собственным значениям, и некоторых соответ- 
ственно выбранных собственных векторов, соответствующих кратным 
ссбственным значениям. 
Можно доказать, что в случае-различных собственных значений 


Л, ..., А, матрицы Ку; собственные значения НЕ вероят- 
ностью | различны и, следовательно, собственные неЬ ВЫ фт о 
.* , 
., Фг определяются однозначно с вероятностью 1. т 


2.3. Метод моментов. Вторым общим методом нахожде- 
ния оценок параметров распределений является метод мо- 
ментов. Этот метод основан на определении неизвестных па- 
раметров из уравнений, получаемых приравниванием экс- 
периментально. найденных оценок моментов теоретическим 
значениям соответствующих моментов, зависящим от неиз- 
вестных параметров. Так, например, если плотность } (х |0). 
наблюдаемой случайной величины Х зависит от неизвест- 
ного г-мерного векторного`параметра 6, то для нахождения 
оценки этого параметра  приравнивают оценки каких-ни- 
будь г моментов величины Х соответствующим теорети- 
ческим моментам. В случае скалярной наблюдаемой вели- 
чины Х г-мерный параметр 0’ обычно определяют из. 
уравнений 


9, (9) = ту вы. 


ре 


В случае векторной наблюдаемой величины Х берут ана-. 
логичные уравнения для г моментов возможно меньших 
порядков. Как правило, о моментами не. 
выше четвертого порядка. | 

Метод моментов часто оказывается проще, чем метод 
максимума правдоподобия. 


Пример 14. Оценим параметр `А, показательного распределения 
методом моментов. При этом достаточно оценить один первый момент — 
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мя 


получаем у ое 


`Решив это уравнение, находим 


Ве СО Е И ОР А ее ао ОО йе И Ее с сры" я * мы А.Т и ео. 
ы т: ЕВЕ ри > оо о 5 ; > ы А 5. я ое 
о С ре а Е в ы > ь 7 > ы - - = 35: 
аа ЕЕ о, — х ы ЕЯ = = 5 у " Зе 


математическое ожидание МХ 1. В результате получим ту же 


оценку, что и методом максимума правдоподобия. 
Пример. 15. В случае оценки параметров А, и \- распределения, 
приравнивая первый и второй моменты соответствующим оценкам, 


п 

в 1% хе ое Пи 2) _ во Г. 2. 

А пы А? и 
: в=1 р 

(теоретйческие выражения моментов для у- распределения были полу- 

чены в примере 3.16). Разделив второе из этих уравнений на первое 

возведенное в квадрат, и 


| со 33 
ы = ХЕ —х 
о ‚ . . = | 
После этого ‘находим оценку параметра А: 


ЕЕ - 
Е 


п 

1 < о 

. рат 2 сы 
- п 


Мы видим, что в данном случае оценки параметров методом моментов 
находятся значительно проще, чем методом максимума правдоподсбия 
в примере 9. | 

Пример 16. Оценим методом моментов параметры т и @ равно- 
мерного распределения на интервале (т— &, т-- &). Пользуясь оцен- 


< | 


` ками первых двух моментов и результатами вычисления моментов для 


равномерного распределения в -примере 3.3, получаем уравнения 


п. п 
| У ЕЕ Зт?-- а? . 1 р ь 

< нес рр аль х. 
й Е =1 : 5 ее : 


Отсюда находим т == = и. 


Еще один метод нахождения оценок_ параметров рас- 
пределений — метод минимума )* мы изложим в $ 8.3 


в связи с задачами оценивания законов распределения. 
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3 
3 
- 


_ Таким образом, метод моментов дает в качестве оценки параметра т 
‚равномерного распределения выборочное среднее. 


о Наиболее общие методы нахождения и исследования 
оценок случайных величин и статистических характери- 


стик дает сравнительно новая и бурно развивающаяся — 


отрасль теории вероятностей — статистическая теория ре 
шений [15]. 


ы $ 3. Рекуррентное. оценивание корня уравнения, 
регрессии 


3.1. Рекуррентное оценивание математического ожи- 
дания. Изложенные методы нахождения оценок неизвест- 
ных параметров, от которых зависят распределения на- 
блюдаемых случайных величин, дают возможность оцени-. 
вать неизвестные параметры только после того, как 
произведены все опыты. Между тем во многих задачах. 
практики приходится совмещать опыты с решением 
определенных практических задач, эффективность решения 
которых существенно зависит от точности приближения 
к неизвестным параметрам. В таких случаях желательно 
производить ‘оценку неизвестных параметров после каж- 
дого опыта с тем, чтобы повысить эффективность решения 
задач в следующем опыте. Таковы, например, задачи 
пристрелки при стрельбе и юстировки (устранения систе- 
_ матических ошибок) точных приборов. Задачей пристрелки 
является определение отклонения центра рассеивания от 
цели, т.е. математического ожидания отклонения точки 
попадания от цели, по результатам измерений отклоне- 
ний в процессе стрельбы с тем, чтобы по возможности - 
точнее совместить центр рассеивания с целью. Ясно, что 
для повышения эффективности каждого следующего вы- | 
стрела желательно вносить поправку после каждого _ 
рыстрела, а не ждать, когда будут произведены все 
выстрелы, предназначенные для пристрелки. Таким об- 
разом, возникает необходимость рекуррентного оценива- 
ния ‘неизвестных параметров, когда после каждого опыта, 
определяется поправка к оценке, найденной по резуль- 
‚татам предыдущих опытов. 

’№ Разъясним основную идею рекуррентного оценива- 
ния на простейшем примере оценивания математического 
ожидания случайной величины. При этом мы будем от- 
мечать выборочное среднее значение случайной‘ вели- 
чины Х, полученное по результатам п опытов, верхним. 


а 


‘индексом п. Тогда а иметь 


6 Ух `т, а 
— Хи- 1) | _(Х,— — Хи- и: 


Таким образом, мы получили а рекуррентную 
| форму лу для выборочных Е 


Хр — ВЕ, Хи-ь + О, —Х=-ъ). < (38) 
р формула дает проетОе правило нахождения поправок 
К ранее найденной оценке математического ожидания: 
после первого опыта за оценку математического ожидания 
принимается наблюденное значение г. случайной величины, 


Х® = _Х,, после второго опыта добавляется поправка, рав- 
ная половине отклонения Х,—Х®, и после п-го опыта 
к найденной ранее оценке Х”-® добавляется поправка, 


равная одной п-й отклонения Х„— Х“”-Ъ (после первого 
выстрела или измерения вносится поправка, равная на- 
_блюдаемому отклонению, после второго —поправка, рав- 
‘ная половине наблюденного отклонения, и вообще после 
п-го— поправка, равная наблюденному. отклонению, де- 
ленному на п). Это ‚правило издавна применяется в ар- 
тиллерии и в точной механике. 

Очевидно, что рекуррентная формула (32) применима 
и для оценок любых моментов скалярных и. векторных 
случайных величин, поскольку оценкой любого (началь- 
ного или относительно данной точки) момента служит 
среднее арифметическое соответствующей степени слу- 
чайной величины (произведения степеней координат слу- 
чайного вектора). 

Процесс рекуррентного оценивания, когда поправка 
после каждого опыта зависит только от результата этого 
опыта и предыдущей оценки, называется стохастической 
аппроксимацией. Это название объясняется тем, что при- 
ближение к неизвестным параметрам достигается после- 
довательностью случайных величин (в нашем примере 


{Х®). Общая теория стохастических ‹ аппроксимаций 


была заложена работой Роббинса и Монро [92] и раз-_ 


вита в последующих работах Кифера и Вольфовица [36], 
Блюма [5, 6] и многих других, хотя, как мы видели, 
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ди 


РИ Е ТАРР 


=> 


метод стохастических аппроксимаций был известен и 
применялся задолго до создания общей теории. | 
Чтобы сформулировать общую задачу оценивания 
параметров методом стохастических аппроксимаций, рас- 
смотрим процесс применения формулы (32) с другой точки 
зрения. Введем случайную величину У =Х —г при про- 
` извольном 2. Ее математическое ожидание ‘при данном 2 
равно М [У |2|=МХ—2=т,— г, т.е. представляет собой 
функцию переменной 2 —регрессию ИЕ: величины У. 
на 2 (п. 4.3.2). При этом функция ф(2) = М[У |2] из- 
вестна не полностью, поскольку она зависит от неизвест- 
ного параметра т... Задача оценки т, тогда сведется_ 
к оценке корня уравнения регрессии ф(г2)=0. Ввиду 
состоятельности оценки Х“» математического ожидания 


т, последовательность случайных величин 7, == Х“®) 
(п=1,2,...) сходится п. в. к корню 1%, уравнения 1р(2)=0. 
При этом в п-м опыте наблюдается случайная величина 
У =Х,—2,-: (п=1, 2, ..), 7, =0, после чего опреде- 
ляется реализация случайной величины 


А а < (33) 


Эта трактовка рассмотренной задачи подводит к ши- 
роким обобщениям. В данном.случае функция регрессии 
ф (2) =т,—г линейна и зависит только от одного неиз- 
вестного параметра т, (векторного в случае векторной 
величины Х). В общем” случае ф (2) = М [У || может быть 
неизвестной функцией, удовлетворяющей лишь некото- 
рым самым общим условиям. Оказывается, что и в таких 
случаях методом стохастических аппроксимаций можно 
‘по результатам последовательных наблюдений величины У 

ценивать корень уравнения регрессии 1 (г) = при лю- 
бом а, а для скалярной величины У— и точку экстре- 
мума 1 (2). | 

3.2. Процесс стохастических `аппроксимаций. Будем’. 
считать параметр г и случайную величину У, а следо- 
вательно, и функцию 1 (г) =М[У]|2]| в общем случае 

г-мерными векторами. Предположим, что уравнение 1р(2) =. 
имеет единственное м 9 и что при 2 «= ба». а==Р; 
функция ®,(г,) =(г,— 6») [$, (г)—а»„] переменной 2» сО- 
храняет постоянный знак в достаточно большой окрест- 
ности И, точки 0, (р=1,..., г). Положим ё,—=— 561 ® (2) 
И обозначим через 8 диагональную матрицу с элементами 
ВЕ, Для оценки корня 0 УрАВНеВИЯ фр (2) = < 
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возьмем ‘произвольную случайную ИЛИ неслучайную ве- 
_личину С, (конечно, такую, чтобы вероятность ее попа- 
дания в окрестность У, х...ХУ, точки 9 была достаточно 
близка к 1) и построим процесс стохастических аппро-_ 
ксимаций по формуле - 


| „= = 2, - ‚Е але (У, — 9), Е (34) 
где У„— результат наблюдения случайной величины У 
при 2=1,-, (п=1,2, ...), {а„! — последовательность 
положительных чисел, удовлетворяющих условиям 
ее р 
Ха.-=, Хасо, (35) 
п=|, п=} 


а =, —значение матрицы 8 при 2=7,_,. В частности, этим . 
условиям удовлетворяет последовательность {1/п}, с по- 
мощью которой строится последовательность (33), сходя- 
щаяся п.в. к неизвестному математическому ожиданию. 
Смысл условий (35) состоит в следующем: первое усло- 
вие — расходимость ряда с общим членом а, > О— обес- 
печивает возможность неограниченного приближения 7, 
к 0, не дает процессу приближений остановиться, не 


_ дойдя до точки 09; второе условие —сходимость ряда с 


общим членом а; — обеспечивает ограниченность последо- 
вательности дисперсий 07,, не дает процессу неограни- 
ченно удаляться от точки 9. Диагональная матрица 
с элементами, равными 1, введена в (34) для того, чтобы 
‚ обеспечить в среднем приближение к 0. Для иллюстра- 
ции рассмотрим случай скалярного параметра 6. Из (34) 
находим 


М [2 | Ян би — а, 8 [$ (2„-,) = 
= = = — 4; [$ ы 51) 76] 551 @ (2 „- ‚), 


где е (2) = (2—0) [р (2) —а. Отсюда видно, что: знак раз- 
ности М[7,|2,-,|—2,-, всегда противоположен знаку 
отклонения 0,-, —0, что’ и обеспечивает в среднем шаг 
Е сторону 0. | 

3.3. Сходимость процесса. стохастических аппроксима- 
ций. Для исследования сходимости п.в. последователь- . 
ности. случайных. величин {7,! применим известный в. 

теории устойчивости метод функций Ляпунова |46, 53]. 

Этот метод дает возможность в каждом конкретном случае 
устанавливать достаточные условия сходимости или устой- 
чивости какого-либо процесса. Метод функций Ляпунова. 
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_ основан на следующем простом факте. Если непрерывная 


функция 9(2) положительна всюду, кроме точки 2=6, 


в которой она равна нулю, и приращение этой функции. 


на каждом шаге (производная по времени в случае не-. 


прерывного ` процесса) отрицательно’ в силу уравнений _ 


процесса (в нашем случае в силу (34)), то процесс всегда 


идет к точке 0 и не может остановиться, пока не достиг- _ 
нет Точки 9. Функция 9(2) называется функцией Ляпу-_ 


нова. Если процесс приближения строится с помощью 
случайных величин, то вместо приращения (производной) 
‘отрицательным должно быть Уно математическое 
ожидание приращения (производной). _ 

Для сходимости п.в. процесса стохастических аппро- 
ксимаций (34) к корню уравнения регрессии ф (г) = в слу- 
чае независимых величин У„—\(7,-,} достаточно сущест- 
вования функции Ляпунова“ о (2), удовлетворяющей условиям: 

1) о(2) непрерывна вместе со своими первыми и вто- 
рыми а 

2) & (9) =0, НУ о () > 6 (=) > 0 при любом — 0; 

12-9 >= 


3) зир и(2) ей: (&) < 0 при любом = > 0, где 


|2-0|>= 


Е (г) =—@ (2) 


—=М [иода об А, ау —а) |152 < со 


- | : О 
‚при всех 2, ^ (теорема Блюма)*). 

> Рассмотрим последовательность скалярных случай- 
ных величин {9 (2,„)}. Пользуясь формулой Тейлора, находим 


(2) = о (2, На, бн-Ю в (у) + 


” > 


=[фе) а; о (36) 


ь уг ат) в 9 з (2, -, 0,2 а, (У„— 0) = (У,— 9), (38) 


тде 9, Е (0, 1). Применив. формулу полного математиче- 


_ ского. ожидания (4.34) и приняв во внимание, что ус- - 


*) Блюм доказал достаточность этих условий для сходимости 
последовательности {2} п.н. [5, 6, 13]. Мы ограничимся здесь до- 


казательством их достаточности для сходимости п. в. Функция ‘и (2), 


очевидно, представляет собой условное математическое ожидание 
дифференциала, т.е. главной части приращения функции о (2), 
силу уравнений процесса (34) при данном’ значении 2. 
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че | 


ловное математическое ожидание величины У, относи- . 
тельно С„-, равно ф(Р,-1), о те + (2,-.), с. 
‚учетом (36) и (37) получаем 


и 1) г(У„— а) = м |6, то (Ри -1) ‚) М |У, ар. И 


дт о 1) 


= М т ТЕ: 1), (39) 


| м0), г ее Е @,д, (У, ада (у, = 

| | (А. 9.а)< В. (ео 
На основании (38), (39) и (40) | 
Мо (2,) = Мо (2,1) + „Ми (2. 9-Е Ме (2, ва) = 


= Мо (ЕЕ. а (41) 


г 3 где = =—Ми (2„- 1), „ = Мо м 1, 0,а в). ре (41) 


последовательно, находим 


_Мо(2, ) = Мо ( го—У. а Ех + ати. 


Отсюда следует, что 
| ь 
> ак = Мо (2) — Мо(2,) а. ат, < 
Е =} Е — | 
ы ое 
< Мо (2.)+5 У, 2. 
Е] 


В силу условия .3) &, =— Ми(й,-,)= М1 и(2,-,) > 

Отсюда и из второго условия (35) следует, что к С 
_ неотрицательными членами »Уа,ё, сходится. А так как 
ряд Уа, в силу первого условия’ (35) расходится, то 
Пт 5, —=0. Отсюда следует существование подпоследова- 


__ тельности {», }, сходящейся к нулю: 


== М [и (2и,-1)| —0. = # 
Но в силу неравенства Чебышева (6.1). | 
м ВВ 
РР, = 
Следовательно, Р(|и (2, „| >=) гь' при р-> оо, т.е. _ 
подпоследовательность {и (2 „} сходится п.вк 0. Отсюда 
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5”. 


и из условия 3) вытекает сходимость п. в. подпосЯекь: 


вательности {7„ } к 0. Действительно, если подпоследо- . 
вательность {2 „} не сходится п.в. к 0, то существуют 


такие г, > 0, что Р(|2„,—0|> 9 > при всех п, „Но 
из условия 3) следует, что 


Р(2„,—8|> =) <Р( и (2) > 5, ‚©. 


“Таким образом, Р (и (2„„)| > 5, (=)) > & при всех п ЧТо. 


невозможно ввиду сходимости п. в. подпоследовательности 
{и (2.,)} к 0. 

`Осталось доказать, что и вся подпоследовательность 
{2,} сходится п.в. к 9. Для этого заметим, что в силу 


са 
непрерывности функции 9(2) и условия 2) подпоследо-_ 


вательность {9 (2„,)} сходится п.в. к 0. С другой стороны, 


из (38) следует, что при любых п, ип> п, 


ор + — и 


в = пр+!1 


= (У, р 


ддт | 
— у 4 (Ут) ео; оо (Рь- Е баь (У 0) (Уд). 


Е = пр+! 


Отсюда, принимая во внимание, что в силу условия 3) 
с вероятностью | имеют место неравенства 


“ (пр) =. 
—95- 2 (Упр+1 — 4) | бп и 


дт 9 (: 8 о 
Ея = (бир) — -] < 0, 
[2 ы | 
=м ве (2,-)— 12.50, 
_и учитывая условие 4), получаем , о 
М (2,1 из] < (пр) 2х а. 


ты. 


Из этого неравенства и второго условия (35) следует, 
что при. любом 9 >0 


"М9 (2,)1 2. < 9(2.)-8 
при всех достаточно больших Припи,. Отсюда, ПОЛЬ- 
зуясь неравенством Чебышева (6. ') получаем при. любом 
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__ ших п 


Р(о(2,) > [5 (2.)<8)<> 

И, следовательно, 

_ Ро (2) > =} {0 (2) < 8) = 

=Р(0(2.,) <6)Р((2,)> =|95(2.)<8<®. 


Зададим теперь произвольно малое &>0 и выберем — 


-б < =5/4. Тогда будем иметь а всех достаточно. боль- 
рип>ПИ, 


Р({0(2,) > =} п {0 (2, <8}) <>. (42). 


Далее, в силу сходимости. п.в. к 0 подпоследователь- 
ности {0(2и,)} 


Р(фо(2.) > в} 0402.) 25) < Ре.) >08 < ез) 


при всех достаточно больших п. Из (42) и (43) получаем _ 


Р (2) >) =Р({0(2,) >} 00) = 
: +Р({0(2,) > в} п {2 (2.) >25) <$+5=5 


Это доказывает сходимость п.в. к 0 всей последователь- 
° ности {9(70,)}. В силу непрерывности 9(2) и условия 
. 2) отсюда вытекает сходимость п. в. к 0 всей последо- 
вательности {2}, чем и завершается доказательство. < 

При практическом применении доказанной теоремы 
самым трудным, как и при исследовании устойчивости, 
оказывается нахождение функции Ляпунова у (2). 

В случае скалярных 2, У и ф(г) функцией Ляпунова 


_ может служить и (2) — (2—6). Эта функция удовлетворяет. 


первым двум условиям доказанной теоремы. При этом. 


до 


и (г) =—5._=[$ (2) —]=2 (2—6) [ф (г) —ч] г = | 

| | = 26 (2) в = —20 (2) 5по (2) =—2|0 (2)|. 
Поэтому условие 3) удовлетворяется, если для каждого 
8>0 ‘существует такое 0, (=) > 0, что 


У: (2) >56 ‚ (е). 


| 2—0 

_ Наконец, вследствие того, что 9” (2)=2, | 

@ (г, \) =2М (У —а)* [2 = 2{[$(2) —а +В [У|2]}, 
ее | 


где Р[У|2|— дисперсия величины У при данном значе- 
нии 2. Поэтому условие 4) удовлетворяется, если диспер- 
сия наблюдаемой случайной величины У ограничена. 
сверху одним и тем же числом О. при всех г и функция 

{(2) ограничена на любом конечном интервале. При этих 


условиях из доказанной теоремы вытекает основная тео- 


рема Роббинса и Монро, доказанная ими в работе, по-. 
ложившей начало развитию общей теории стохастических 


зивросиыЗний [92]. - 


3 4. _Рекуррентное оценивание точки а 
регрессии 


4.1. Процесс стохастических аппроксимаций. Перейдем 
к случаю оценивания точки экстремума скалярной функ-_ 
ции регрессии 1(2). Предположим, что функция 1 (2) 
непрерывна вместе со своими первыми производными 
рр (г) = 04 (2)/0г„ (р=1,..., Г) и в единственный 
экстремум— минимум—в точке 2г=0*). В этом случае _ 
естественно стремиться двигаться из каждой точки г по 
отрицательному направлению вектора градиента, т. е. 
применить метод наискорейшего спуска |102]. При неиз- 
вестной функции`ф (г). естественно за оценку В - 


фр (2) в точке 2,-, принять величину И, „= Рин 
где У„, —результат наблюдения случайной величины У 
при г—2.- -‚ а У,,-— результат наблюдения величины У_ 


при 2=2,-,--с„е»„, где е›—единичный вектор оси 2,, а 
_с,—некоторое число. Тогда, взяв произвольную слуцай- 
ную или неслучайную величину 2, и определив после- 
довательность случайных величин 


2,=2,-1—а,И„, 6 


где О,„—вектор с координатами Ор = 6” —У к)/с„, можем 
рассчитывать на сходимость п. в. ‘построенного ыы 
стохастических аппроксимаций к точке минимума 0 функ- _ 
ции 4 (2). | Е 
| 4.2. Сходимость процесса стохастических аппроксима- 
ций. Докажем, что для сходимости п. в. последователь- 
ности (44). к точке минимума 9 функции (2) достаточ- 
но; чтобы положительные числа а, и с, и функция 1$ (2) 


*) Случай максимума приводится к случаю минимума измене- - 
нием знака Е -: (г). и случайной величины х. \ 


10* Е ее 


„” 


а, == со, а? © со, - 
п=! РЯ 
в 45 
Нтс, =0, У ас, <<, ь (=) < ©, 
п» ® фе п=1 ПМ 
фр (2) | _ о 
ъ5% „5, <? (р=1, к... Г), | (46) 


где у и у, — некоторые положительные числа, и чтобы 


_ дисперсия наблюдаемой случайной ‘величины У была при 
всех г ограничена одним и тем же числом О, О|У|2] < р 
(обобщенная теорема Кифера. И `Вольфовица [36]) *). 

_№> Из (44) следует 


Ее —вр= =|17,-1—0?—2а, (21.— 07 Иа И, |. (47) 


Оценим условное математическое ожидание второго сла- 
гаемого относительно ,-,. Для этого найдем сначала 

М]10,12,-„|. По определению вектора И„, применяя фор- 
мулу конечных Е Лагранжа ти учитывая, что 
В силу (46) тр» (2) = (2—0) 5, (2), получаем 


МУ п В п — о" 1] м. 
М[И„ „1 2,- о. 


др (2 п-1-{- Сие у—4% (2.- ) = ес 
ен (2. З,рсне,) == 


= (2-я = 95) бр (2-1 ых Унрер), (48) 
2: где $,,Е (0, 1). Следовательно, 


(2 а ‚|= 
т 795). Ей (2, в 


5% 


р. 


9. 2С а === 3 в 9,) бр а г-Е Эрбие,).. (49) | 


Отсюда и из г получаем 
р И, [2,- |< 


о И 
<— 4 9. ны \: С» к 9 . 


®) Кифер и Вольфовиц доказали эту ‘теорему для скалярной 


переменной 2. Обобщение на случай векторного 2 при несколько | 


_ иных условиях и с дсказательством сходимости п. н. дал Блюм [6]. 
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Суммируя по р и принимая во внимание, что. 


> (2:-1,2— 09) М [9 „р | 2-1] 5 а 9) МО, 12-1, 


1 


Зи <, х #- 5? ЕЯ 9,)* = 
Иа. -:—6|*), 


приходим к Е 
— (21,—07) М[М,12,- |< —— 
а Ри ВУ 12.-,—0|. (50) 


_ Кроме этой оценки, нам еще понадобится ` более грубая _ 
оценка для предварительного исследования. Чтобы полу- 
чить Такую оценку, заметим, что .в силу (46) и (49) ве- 
личина — (0,-:.„—0, МИ, „12,1 ] может быть положи- 
тельной только при ан малых отрицательных 
2-1. — 69, а именно при 0 >> 2,- и Зри > — С». | 
Отсюда и из (49) следует, что 


— (2,- ат, —6 „) М ЕР 1] > 7:6» м. 1, р —8. | < Сп. 
р по г, получаем неравенство 
о 09 М 0,1 2,1] < пи, (51) 


Для оценки условного математического ожидания 
последнего слагаемого в (47) относительно Д„-: восполь- 
зуемся формулой (3.29), выражающей начальный момент 
второго порядка через математическое ожидание и дис- 
персию случайной величины. На основании этой фор-_ 
мулы, применив (48) и (46), получаем - 


МТО, [2,- = (М 0,12, - 1] ЕР, - р 
5 71 (2, са 2 в п — 9 Р'В вр 2,- и 
< 2 2-1. = Вр +» [ № 1]. 


*) Здесь мы воспользовались неравенством 


4 ы Е 
( о *›) к ЖИ 
р=1 р=1 


‘справедливым при любом г и любых действительных х1,..., Х,. 
%) 
Для доказательства достаточно найти максимум суммы ир при 
%. —— я с 
условии Уш=! и показать, что он р у . 


Е ВО „р| 2-1] == О [Ур — Уш| 2-1] 5 


= {р [У„р[ 2-11 В [Ут] 2-1 + 
+2И РТУ, 12, 1РУ нь 2-1} = 
АЕ {УР Ва И р [Уно Е Ь < ет 


в силу условия теоремы. Следовательно, 
М [Опр | ее :] < 21 (2, -т, 95 -Р 21сп - С° 


Отсюда суммированием по р получаем неравенство 


47) 


р. 
Сп 


МПО, 12-3] < 27:12, 1—9 -Е 271 + 


_ Теперь мы можем доказать с. к. сходимость последо- 
вательности {7,} к 9. Для этого докажем сначала огра- 


ниченность последовательности положительных чисел 
_б,=М|2,—9]. Из (47) следует, что 
6,=8,-:—2а,М (21. — 07) и, -+ам|и, =. 
= 6,-— 2а,М [(2,—.—0°) М [Ч „| 2-1] + | 
ам [мо 12,1. (53) 
| Отсюда, пользуясь неравенствами (51) и (52), получаем 


5, < б,-1 -Е 277: а, Сп ыы 270, -1 -- 27 \апСп = 


+47р (22) = 8, (1+2) в, (54). 


где | — 
пы = 27а, Е 2гузас + 4гр (=)". | 
в : 


Применяя неравенство (54) последовательно, будем иметь 
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4р- 


(52) 


а п-1 п 
_ & < Ц а-2иа + Хь, П аа +в. (65) 


Из (45) следует, что р яд Ув, и бесконечное произведе- 
ние [](1--2у2а#) сходятся *): Таким образом, все про- 
изведения в (55) образуют неубывающие последователь- 
ности, ограниченные сверху одним и тем же числом — 


бесконечным произведением Па- 21а). Отсюда в силу 
° сходимости ряда Уи, следует ограниченность последо- 
вательности {6,}, т. е. существование такого числа В, что 


6, < 5? при любом п. 


‹ 
А так как для любой векторной случайной величины У 
на основании неравенства (3.45) "МУ |= М (1. | < 


ЗИМУР, т М 2,—60|<ИМ12.—0р=Уб, < 6. 
т льзуясь этим неравенством и неравенствами (50) И 
(52), из (53) получаем 
о, < 6, — 24 п б,-1-- 27:6 Ига,с, - 26а? -- 

2 2ГуаиСт Е 47) 4" (=). а би -1 (1 —2.а,) =. Ул (56) 
где Ре 
„БИ Ганс, - 26а -- гай? + 47р (=). 


Применяя `(56) о будем иметь 
„<, П. ие — `. И та 
ы 9 о + (57) 


где п, —Любое число, для которого, ‚2у,а, <1 при всех 
# >и,. Из >45) следует, что ряд У ^, сходится, а про- 


*) Так как п Па + хи) = У а (1-Е хи) = УлхиВ (хи), где В (хк) =. 
—= 1—хи/2 (1-- Лкхь), ЛьЕ (0, 1), и В (хь) —1 при хь —0, то беско- 
нечное произведение [а-+х») сходится тогда и только тогда, 
когда сходится ряд ыы: Если Ухь=о, то бесконечное произве- 
дение Пал) называется расзодащимтся к с, так как в этом _ 
случае 


‚Лит, П (1 те Хх) = ©. 


Если Улхь=—, то произведение П Еж) называется расхо-_ 
дящимся к нулю, так как в этом Е . 
ит И (1-Е х») =0. 
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изведение || (1—2%.а,) расходится’ к нулю *). Следова- 
_ тельно, правая часть в (57) стремится к 0 при! п-—+ 9. 
Это’‘и доказывает сходимость’ последовательности {8,} 
к нулю, т. е.:с.к. сходимость! носледовательности слу- 
чайных величин {7} к 9. Наконец, из, с. К: сходимости 
еж К 9 следует оАоДиМоСтЬ п. в., И и доказывает 
теорему. 44 

4.3. Метод случайного поиска. Мы ВИДИМ, что для 
‘оценки экстремума функции р (г) г-мерного вектора 2 
необходимо в каждой точке 0,_, наблюдать случайную 
НЫЕ У ЕЕ. раа пиар и ее... 
....би-1--С,е,. При г= 1 величину У приходится наблюдать 
2 ‚раза. При этом вместо наблюдения ее при и И 

0„_.-с, можно наблюдать ее при 2г=й,_.-с, 

А и за оценку производной функции 1(2) 
в точке 7,„_; принять отношение разности полученных. 
значений У к 26,. Именно этот случай первоначально 
_ рассматривали Кифер и Вольфовиц в [36]. | 

При болышой размерности г вектора 2 применение 
метода стохастических аппроксимаций Для нахождения 
экстремума функции 1{(2) оказывается очень трудоем- 
ким из-за необходимости делать г] наблюдений _ве- 
личины У в каждой точке. В таких случаях более вы- 
‚годным часто оказывается метод случайного поиска. 

Метод случайного поиска основан на том, что из 
каждой точки Д,_; делается шаг, представляющий собой 
случайный вектор У,„. В полученной точке й,=1,-.-НУ, 
производится одно наблюдение случайной величины У. 
В соответствии с результатом этого наблюдения У, фор- 
мируется распределение следующего шага У„.1. Если У, 
< У, - +, то распределение шага У». , выбирается так, чтобы 
вероятность шага У„.,, близкого по направлению к У, 
(т. е., вероятность сделать следующий шаг в направлении, 
близком к тому, в котором была получена удача), была 
достаточно велика. При У, >У,_: распределение шага 
У, ., выбирается так, чтобы вероятность шага \У„-.,, близко- 
го по направлению к У, (т.е. вероятность сделать следую- 
щий шаг в направлении, близком к тому, в котором была: 
получена нёудача), была малой. В остальном распределения 
пробных шагов можно брать в значительной мере про- 
извольными. При удачном выборе этих. распределений 


‚ *) См. сноску на стр. 295 с учетом того, что я Е со. 
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метод случайного поиска может ‘дать значительный выиР-. 
рыш по сравнению с методом стохастических аппрокси-. 
маций в случае большой размерности г вектора 2. 

_ Поскольку распределение каждого шага формируется 
с учетом результатов предыдущих шагов, алгоритм слу- 
чайного поиска получается, по существу, обучающимся. 
Такой алгоритм накапливает опыт, Я. на предыду* 
щих удачах и неудачах к 


*) Более подробное изложение метода стохастических аппрокси- 
маций и его применений ‘читатель может найти в [13, 102]. рило- 
жения метода стохастических аппроксимаций к различным задачам 
управления даны в [47, 106, 121, 122]: Читателей, интересующихся 
методом случайного поиска и его многочисленными приложениями, 
мы отсылаем к книге Л. А. Растригина [87], который. внес существен- 
ный вклад : разработку ь Е поиска. 


< 


Глава 8. 


ОЦЕНИВАНИЕ РАСПРЕДЕЛЕНИЙ 


Ф 


$ 1. Оценки плотности и функции распределения 


1.1. Параметрическое и непараметрическое оценивание 
распределений. Методы оценивания -числовых характе- 


ристик -случайных величин и параметров распределений, 
изложенные в главах 6 и 7, дают возможность находить’ 
по результатам опытов (оценивать) распределения слу- 


чайных величин, представляющие собой известные `функ- 


ции, зависящие от конечного числа неизвестных скаляр- 


ных параметров (т. е. от неизвестного конечномерного 
параметра). Такое оценивание неизвестных распределе- 
ний называется параметрическим. Непосредственное оце- 
нивание ‘распределений без предположения, что онн 
являются известными с точностью до конечномерного 
параметра функциями, называется непараметрическим. 


Мы изложим теперь основные методы непараметрического 
`_ оценивания распределений случайных величин. 


1.2. Оценивание плотности по гистограмме. Из нашего 
подхода к определению плотности в п. 2.2.[ следует, 
что подходящей оценкой плотности случайной величины 


может служить относительная плотность эксперименталь- 


ных Точек. При этом, чем больше число опытов, тем 
мельче можно взять интервалы разбиения области воз- 
можных значений случайной величины и тем точнее гисто- 
грамма будет аппроксимировать плотность. Практически 
интервалы рекомендуется выбирать так, чтобы в каждом 
из них было не меньше 109 экспериментальных точек ен 

Пусть /(х)— неизвестная плотность случайной вели- 
чины Х. Предположим, что область возможных значений 
величины Х. разбита на г интервалов (многомерных ин- 


_ тервалов — прямоугольников —в случае векторной вели- 


в Для построения гистограмм на ЭВМ в [94] служат программы 


Ы5Т, ТАВ1 Е Е рае. и АВ2 (двумерные гисто- 
граммы). 
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ЧИНЫ | 1х) м - :) №: +). Пусть а Е —. ‚случайные — 
числа попаданий величины Х в интервалы "Ах, ее 
- при п опытах, 2, +... +7, =п. Тогда частоты попада- 


ния в эти интервалы будут равны Р,=2.,/п(у=1, ..., ЭР. 
Вероятности попадания в эти интервалы ОпреДеНаЕ 


формулой 
ах ЕЕ: В. 


Ах. 


Если принять частоты Р,, ..., Р, за оценки вероятно- 
стей р., ..., Рр,., то значения относительной плотности 
экспериментальных Точек Р,= Ру/Ах, в соответствующих — 
интервалах Ах, (у=1|, ..., г) будут оценками величин 


Ва -ак | 094 (у=1, о 


Если }(х) непрерывна в` каждом интервале Ах,, то эти- 
величины представляют собой значения }(х) в некото-_ 
’ рых средних точках соответствующих интервалов. Таким 
образом, значения относительной плотности эксперимен-_ 
тальных -точек (ординаты гистограммы) представляют 
собой оценки плотности вероятности в неизвестных сред- 
них точках соответствующих интервалов. 

1:3. Доверительные области для плотности. Для на- _ 
хождения доверительной области для вектора {=|},.../{,|7_ 
в Г-мерном пространстве воспользуемся третьим методом 
п. 6.2.4. Чтобы найти соответствующую функцию ф, будем 


оценивать отклонение вектора частот Р=[Р,... БТ от — 
вектора вероятностей р=|[р, ... Р-. взвешенной суммой 
квадратов ошибок 


- 


р (Р, ее Ру), 


где с,, ..., с, некоторые положительные числа. Эти 
числа целесообразно выбрать так, чтобы меньшие зна- 
чения вероятности оценивать с меныцими абсолютными 


*) Если областью возможных значений величины Х служит все 
_ пространство, то некоторые из интервалов Ах!, ..., Ах, могут быть 
бесконечными. При оценивании плотности все интервалы, ‘содержа- 
щие экспериментальные точки, берутся конечными и только интер- 
валы, не содержащие экспериментальных точек могут быть беско- 
нечными. 

**) Для простоты мы обозначаем через Ах, не только интервал, 


но -и его длину в в случае векторной Хх). 
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ошибками. “Иными. словамц, ошибкам оценивания малых 
_ вероятностей р, следует приписать болышие веса су. 
К. Пирсон-показал, что если взять су = п/р, (у=1,...,!), 
то в пределе при нь возрастании числа 
опытов й распределение величины 


Нл У 5 (Ру р, (1) 

м 
стремится к х?-распределению с г—1 степенями свободы 
_[72, 73] (пример 5.48). Так как ‘это распределение не 
зависит от неизвестных параметров р, ..., р‚, то вели- 
чину (1), называемую обычно Хх’, можно принять за 


функцию ф(Р, р) п. 6.2.4. Тогда получим доверительную 
область для вектора р [р ...Р,|’, определяемую соот- 
ношениями 


` 


ат < =. ыы а 
о. о (2) 


где, "вы определяется по заданному коэффициенту дове- 
рия. @ ИЗ Уравнения 


ор 


`Р(+ (В, р) <не | р,-:(ат=а. (3) 


Практически величину &„ определяют по заданным А == 
=—=и—1[ и @ по таблице 5. При этом следует учитывать 
и бесконечные интервалы Дх,, частоты попадания в кото- 
рые, равны нулю. | 

Для нахождения доверительной области для вектора 
средних плотностей }=||,...[,|` следует прежде всего 
заменить бесконечные интервалы Ах, достаточно боль- 
шими конечными так, чтобы вероятность непопадания 
величины Х ни в один из интервалов Ах,,...., Ах, была 
пренебрежимо малой. При этом для ‘более точного интер- 
вального оценивания средних плотностей в бесконечных 
‘интервалах с нулевыми частотами попадания можно раз- 
бить их на несколько меньших ‘интервалов (с’нулевыми 
частотами). „Тогда. доверительная область для. 7 опреде 
лителя. соотношениями 


г. " 


- 2 Е и.- Ру т, Аве: (4) 
и=Е 2 


‘ :} 


_ (800 


Пр имер 1. Полученные в результате 100 опытов: значения 
случайной величины Х распределились по 10 интервалам длины 
80 единиц каждый, как показано в таблице. 


В третьей строке таблицы показаны средние точки интервалов, 


а в четвертой — относительные плотности экспериментальных точек. 
Найти оценку плотности и доверительную область для нее,, соответ- 
ствующую коэффициенту доверия &==0;95. 


Гистограмма для данного случая дана на рис. 32. Чтобы найти 


доверительную область, заметим, что в данном случае, считая два: 
бесконечных ‚, интервала . (--°, 385) и (415, <); имеем г=12; 
Ах: =... .=Ах:0=80. Заменив бесконечные интервалы приближенно 


конечными (—545, —385) и (415, 575), будем иметь Ах 1 =Ах1э=160._ 


По таблице 5 для Е =у-1='!1и &=0,95 находим во; == 19,68. По- 
лученная в роты опытов; реализация доверительной. области: 
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для # =л. те а зириевяет ‘соотношениями 

У Ш 2,5-10-9--(— 1, 5.10- а (/з—10,0-10-4)2-- 

й р [3 
о а 
т (,—17,5-10- и 10,0. 10-4)9-- + (+—8,8-10-)- 
Ч (— 3,7 -10- 4)? 2 -- 2} < 0, 00246, 
о (Е 2:2 =0,0125. 


Эту 11-мерную область в 12-мерном пространстве невозможно пред-. 


ставить наглядно. Чтобы получить наглядную доверительную об- 
ласть, ‘найдем совместные доверительные интервалы для всех вели- 
ЧИН я, ..., [12, Соответствующие коэффициенту доверия не меньше 


чем &=0, 95. Для этого следует найти доверительные интервалы для 


каждой из величин ЁД, ..., [1э, соответствующие коэффициенту дове- 
рия 1 =1—(1—9/12) = 1 = ‚05/12 = 0,9959 (п. 6.2.4). Так как число 
опытов в данном случае достаточно велико для того, чтобы распре- 
деление частоты можно было считать нормальным, применим фор- 
мулу (6.11). Для этого по таблице 1 находим (для &=0,9959) 
га =2,86. Подставив это значение и значения частот в (6.11), нахо- 
_ дим совместные доверительные интервалы для [1, ..., [1». Границы 
_ этих интервалов (ау, 6) (Уу=1, ..., 12) приведены в таблице. 


Гу Гз ь Но | ла, [2 


‚На рис. 32 показана доверительная область для кривой распре- 
деления, образованная этими доверительными интервалами. Согласно 
сказанному в п. 6.2.4 эта доверительная область содержит неизве- 
стную кривую распределения с вероятностью, не меньшей чем 0,95. 
_ Из рис. 32 видно, что полученные экспериментальные данные могут 
соответствовать большому разнообразию кривых распределения. 
Сплошной линией на рис. 32 показана кривая распределения, по- 
| добранная для этих экспериментальных данных в примере 5, а штри- 
‚ ховой линией — нормальная кривая распределения. 


Изложенным методом определения доверительных 
областей для плояности можно пользоваться только в том 
случае, когда число опытов’ и достаточно велико для 
ого, чтобы распределение величины Н мало отличалось 
от х?-распределения. Практически этим методом можно 
пользоватьея при п > 100. Это условие обычно всегда 


выполняется, так как хорошие оценки распределения. 
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случайной величины можно Получить только по резуль-  — 
татам большого числа опытов, порядка нескольких сотен `` 
для скалярной и тысяч для векторной случайной вели-- 
чины. Если же возникает необходимость оценить плот- - 
ность по малому числу опытов, то для нахождения дове-_ Е 
рительной области для нее следует пользоваться точным  — 


полиномиальным распределением частот Р,, И 
и вторым методом п. 6.2.4, так же как это было сена 
для оценки вероятности в п:6.3.2. 

1.4. Оценка функции ‘распределения. Для получения 
оценки функции распределения ЁР(х) естественно заме- 
нить в ее определении (2.29) вероятности событий Х < х = - 
их частотами. Пусть М.(х) —случайное число экспери- 
ментальных значений случайной величины Х при п опы- = 
тах, удовлетворяющих неравенству Х, < х. Тогда оценка > 
функции распределения величины Хх определится фор- 
мулой | | | 


Ё(х=М хп. 


Пользуясь единичной ступенчатой функцией, оиЯ 
представить эту формулу в виде ее 


ее - 


Ё(х) = ту ь)- ое 
— | о 
1.5. Доверительные области для: функции распреде-_ 
ления. Задача нахождения доверительной области для 
функции распределения очень сложна и для векторных 
величин пока еще не решена. Для скалярных случайных 
величин эта задача упрощается вследствие того, что для 
любой непрерывной функции распределения Е(х) распре- 
деление случайной величины $ = тах | Ё (х)—Е(х)| не 

зависит от Р(х). Это следует из результата п. 5.2: 
согласно которому для любой непрерывной Р (х) случай- 
ная величина У =Ё(Х) в случае скалярной величины Хо 
распределена равномерно на интервале (0, 1). | 

Пусть С, ($) —функция распределения величины 9. 
при и опытах. Значения С, ($) при $=Е/п, Е =1, ... 

‚п— 1, определяются формулой [58] (см. также [103])` 

| 
С, (1) = та мии (, п) (1, .... 1-1, 6) 


п 


ра 


*) Единичную ступенчатую _функцию векторного аргумента’ 
_ можно считать равной произведению единичных а функ- 
_ ций всех координат ЕВА: аргумента. 


| 


где функция СЕ, т) (1 =1, Е О: ом И 
а рекуррентной т 


И (п, т- в = у НЕ т 


и условиями | Е | 
из (й, т) =0 и. Вт, Е 
и» (п, 0) =0 (й=1, ..., #1, ии (К, 0)=1. 


Пользуясь формулой | (6), Масси составил таблицы зна- 
чений С, (Е/п) функций С, (5), а затем интерполирова- 
нием. получил таблицы значений функций С, (5) в зави- 
симости от величины и=зУп при разных п или, что 
то же, Таблицы значений функций распределения К, (и) 


случайной величины И = $Ил=Иптмах [Е (х)— Е (|. 
при разных значениях числа опытов п. По этим табли- 
цам можно находить точные доверительные полосы для 
оцениваемых функций распределения скалярных слу- 
чайных величин. А именно доверительная область для 
.Е(х), соответствующая. в ЛОВЕРИЯ а, опреде-. 
ляется неравенством о 


| ()—Ё (С) | Зи./ИУ п для всех х, _ . (7) 


где и. находится путем решения уравнения К. та 
с помощью таблиц функций К, (шо). Неравенство (7) 
определяет. случайную полосу, ограниченную снизу и: 
сверху двумя ступенчатыми. ЛИНИЯМИ, ‘внутри. которой 
-е вероятностью & Полностью содержится график неиз- 
вестной функции распределения Р (х). Вследствие. этого 
в среднем только в 100 (1—9) % случаев реализация 
доверительной области, определяемой неравенством (7), 
неё. ‘будет. полностью. ен график функции распре- 
деления. Е(%)*). _ 

`Заметим, что ёще задолго до работы Масси А. Н. Колмо- 
_ горов нашел ‘предельное (асимптотическое) распределение 
величины Й при п © [41]. Он доказал, что при 


*) Заметим, что, пользуясь доверительным ‘интервалом п. 6.3.2 
для вероятности, можно получить значительно меньший. доверитель- 
ный интервал для значения Р(х) при каждом отдельно. взятом х. 
Однако такие доверительные интервалы не имеют` никакого' практи- . 
_ ческого значения, так как при оценивании фу нкции распределения 
необходимо найти вероятные границы. для нее сразу при всёх х. 
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‘любом И | 
к)= Пт К, 9-12 Зее, — ® 


Поэтому’ при достаточно т ‘числе бпытов п вёйи- 
чину Ис В (7) можно определять из уравнения К (и) =“ 
по таблице функции Колмогорова К (и) (приложение 3, 
табл. 7). 


Пример 2. В условиях предыдущего примера найти довери- 
‚ тельную полосу для Е (х), соответствующую коэффициенту доверия 
9 =—0,95. Так как в данном случае п = 100, то, определив по таб- 
лице 7 цао =1,362, получим ис /10=0,1362. Сдвинув на эту вели-_ 


Уф : 


-400 -20 0 20090 С т 
В о 


_чину вверх и вниз полученный по, результатам опытов график ЕО 
‚рической функции: распределения и имея в виду, что 0<Е (х) = 1; 
получим доверительную ' полосу’. ‘для’ Р(х), представленную 'на. 
рис. 33: График неизвестной Р(х).с вероятностью. &==0,95' пол- 


'„ 


ностью заключен внутри этой полосы. . : 


1.6. Другие оценки плотности. ифференцируя" фор- 
мулу (5) и учитывая, что производная единичной сту- 
пенчатой функции представляет собой. б-функцию, _полу- | 
чаем оценку плотности величины Х в виде | | 


Пон о. 


УМ 
} 
т 
И» 


Ясно, что в случае непрерывной величины Х эта оценка 


# 


имеют плотность ] (х), то. 


не может быть близкой к ]}(х) ни при каком значении х 
ни при каком числе опытов п. Эта оценка несостоятель- 
на. Чтобы исправить ее и сделать состоятельной, можно 


заменить 6б-функцию некоторой непрерывной плотноетью 
1р, (2). Тогда оценка плотности определится формулой 


УХ. _ (0) 
4 Е=1, 


“ 


 ТотНоСтЕ {, естественно выбирать по-разному для 


различных п. Чем больше п, тем ближе должна быть’ 


р, (Ё) к.б -функции-б (1). С другой стороны, в выражении 
- (10) функции }() при п— со не должны возникать 
‚ б-функции. Это будет обеспечено, если 1}, (Р) будет стре- 
миться к 6(Ё) достаточно «медленно» для того, чтобы 


_ ар, (Е)/п —0 для всех Ё при п —> со. После этих наводя- 


щих рассуждений. можно перейти к отм доказа- 
тельству следующей' теоремы. 

_Для состоятельности оценки (10) плотности ](х) в 
каждой точке НЕРВ [(х) достаточно выполнения 
ии: 


[2 


о ье-де-Р о прип® (П) 


—_ > 
в каждой точке непрерывности } (х); 


2) | --зир р, (2) —0 при п-+ о. т (12) 


| @ Для доказательства найдем математическое ожи- 


дание и второй момент оценки } (х). Так как все экспе- 
риментальные значения Х,,..., Х„ случайной величины Х 


У =1 


Мо = ТУ мые хо («— 2) (2) а. 


В силу условия (11) эта величина стремится к [(х) при 


_ п—+ 0 в каждой точке непрерывности }(х), М (х)—1(х). 
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Далее, вследствие независимости величин Х, Ех 
:] 
МР - ‚у ме е—х а 
т а: МТ, («— Х,) Мф, (х—Х и) == 


И5ЕУ 


= и ‚колагоае е-элое | - 


Но 


 яе-ЭКае < иярУ | че-эна4 
В силу (12) р этого неравенства стремится к 
нулю при п-—> ®. Поэтому МР (х) в силу (11) и (12) 
стремится к }?(х) при п--+ со в каждой точке непрерыв-_ 
ности [(х), М? (х) —?(х). Следовательно, 
м —1 р=МР в 2х) М1 (ЕР) —0 


при п-— с 


1 
п 


ов 


_ в каждой точке ‘непрерывности [(х). Таким образом, при 


выполнении условий (11) и (12) оценка` (о) с. к. схо-- 
дится к |(х) в каждой точке непрерывности ] (х)- Но из 
с.к. сходимости по теореме п. 6.1.3 вытекает сходимость 


> состоятельность ® (х) В каждой точке непре- 
рывности [ (х). 

Заметим, что если }(х). непрерывна при всех х и схо- 
димость в (11) равномерна относительно х, то во рав- 
номерно с.к, и п. в. сходится к [(х). < 

Условия (11) и (12) выполняются, и, следовательно, 
оценка (10) состоятельна, в частности, если 1, (В) == 
=]; (с.2), где, 1$ (5) — произвольная ограниченная плот- 
ность, а ы — числа, удовлетворяющие условиям |с, | — оо, 

сп — 0 при п —+ со, где т — размерность случайного 


вектора Х. При этом для равномерной сходимости 1%. 
к /(х) достаточна равномерная непрерывность | (х) [23, _ 
62, 70, 93, 125]. 

Доказанная теорема не ‘решает вопрос о выборе плот- 
ностей тр, (Г). Она оставляет для этого широкий простор. . 
Это дает возможность ставить задачи оптимизации ‘оценок 
вида (10). ‘при’данном ий путем выбора ф, (1). Однако в 
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общем случае решение задачи оптимизации зависит от 
неизвестной плотности [(х) и вследствие этого не имеет 
смысла с практической точки зрения. 

_ Заметим еще, что оценки вида (10) можно получить 
и для производных плотности [(х) |23, 125]. 


$ 2. Приближенное представление распределений 
ь / 


2.1. Система кривых Пирсона. В приложениях часто 
требуется приближенно представить плотность или функ- 
цию распределения случайной величины подходящим 
аналитическим выражением. В частности, приходится 
находить Подходящие аналитические выражения для рас- 
пределений, оцениваемых по результатам опытов. Это 
можно сделать многими способами. Так, например, фор- 
мула (10) непосредственно дает оценку плотности в виде 
линейной комбинации определенных функций. Однако 
этот единственный способ получения непараметрической 
оценки плотности в аналитической форме обладает тем 
недостатком, что число слагаемых в (10), равное числу 
опытов и, как правило, очень велико. Всякое же упро- 
щение аналитического представления плотности неизбеж- 
но ведет к параметризации оценки, т. е. к замене не- 
параметрической оценки параметрической. 

Для. приближенного. аналитического представления 
плотностей скалярных случайных величин широко при- 
меняется система кривых распределения К. Пирсона 
171, 74]. Он заметил, что большая „часть плотностей 
у=}[(х), встречающихся в задачах практики, удовлетво- 
ряет дифференциальному уравнению вида 
, 


к ха 
ИЕН 


где а, 6, 6, и 6; —некоторые постоянные. В частности, 
этому уравнению удовлетворяют нормальное, показатель- 
ное, стьюдентово распределения, р-, \-, Х-, Х”-распреде- 
ления. Изменяя параметры а, 6, 6, и 6,, можно полу- 
чить большое разнообразие кривых распределения. 

Другая система кривых для приближенного представ- 
ления плотностей скалярных случайных величин, осно- 
ванная на анализе причин отклонения *от нормального 
распределения в ЗВЕНЕ, предложена. Бородаче- 
ВЫМ [10]. И 
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ый: ы 
ПЕРУ ЗС ТУЕ 


_2.2. Ортогональные ‚разложения плотностей. Наиболее _ 
общим способом приближенного представления распреде-_ 
лений скалярных и векторных случайных величин является 


представление их в форме линейных комбинаций неко-.. 


торых заданных функций, в частности в форме конеч-_ 
ных отрезков разложений в различные ряды. Мы изложим 
здесь способ разложения плотностей по ортогональным 
полиномам и общий способ приближения их линейными 
комбинациями заданных функций. 

Пусть }р(х) — плотность, которую требуется предста- 
вить аналитическим ет г о оо «эта- 
лонная» плотность, р,„(х) (п=0,1,...) система поли- 
номов, ортонормированных относительно распределения 
р (х), т. е. удовлетворяющих условию 


[2 


\ Ру (х) Рь (%) Го (х) ах = буи, — (13) 


= 


где, как всегда, бу, =0 при и=-\, 6, =1. Система поли- 
номов ‘р, (х), удовлетворяющих условию (13), может быть. 
найдена путем применения известного способа ортонор- 
мирования функций ко‘всем степенным функциям коор- 
динат вектора х [42]. При: этом всегда р,(х)==1 вслед- 
ствие свойства (2.11) плотности, а р,(х) в случае - 
скалярного х представляет собой полином степени п: 


род р. = Ха — (и=12,...). 04) 


Будем искать формальное разложение плотности а 
в ряд вида 


мо сы. 09 


Для определения ‘коэффициентов с, умножим (15) на 
р, (х) и проинтегрируем, результат от до со. Тогда, 
принимая. во внимание (15), получим 


: ‚2 Г на 
© 


ит ет | В ` (16) 


: & 


Эту формулу можно. символически записать ‚в виде и 


Е г 
т 


где р, Не представляет. собой результат замены в. выра- 
жении полинома р, (х) всех одночленов вида х’... хит 
_ соответствующими _ моментами @»ь,..к, Случайной вели- 
чины Х, имеющей плотность ] (х). В частности, в слу- 
чае скалярного х на основании (14) - 


р == и -ан = Х ана (п=1, 2, 5-8: 


‘где и, —момент А-го порядка случайной величины Х с 
плотностью { (х). Таким образом, все коэффициенты ряда 
(15) легко ‘определяются, если известны моменты слу- 
чайной величины Х. При этом, конечно, необходимо 
‘существование конечных моментов всех порядков. - 
Ряд (15) при некоторых условиях сходится к [(х) и, 
следовательно, может служить для аналитического пред- 
ставления {(х) с любой степенью точности. Однако схо- 
димость или расходимость ряда (15) не имеет практи- 
ческого’ значения, важно лишь, чтобы плотность }(х) 
могла быть с достаточной точностью представлена с 
помощью небольшого числа (обычно двух-трех) членов 
ряда. Кроме того, обычно бывают более или менее точно 
‚ известными только несколько первых моментов случай- 
ной величины, а относительно моментов высших поряд- 
ков мы не знаем даже, существуют ли они. Поэтому 
разложением (15) пользуются, не интересуясь вопросом‘ 
о его сходимости. Практика показывает, что большую 
часть встречающихся в приложениях распределений 
удается с достаточной точностью представить отрезком 
разложения (15), так же как и кривыми Пирсона. 
Перед тем как представлять плотность величины Х 
разложением (15); удобно предварительно нормировать 
ее, т.е. заменить случайной величиной Х" =А;\* (Х—т,)*). 
Эта случайная величина имеет математическое ожидание, 
равное нулю, единичную ковариационную матрицу и то 
_же распределение, что и величина Х (пример 5.28). Сле- 
довательно, для нормированной скалярной случайной 
величины @, = 0, &,=1, @,=и, (&=2,3,...) и форму- 


*) Если К. =АЛАТ, где А—диагональная матрица с элемен- 
* 


тами А1,...,Аш, а А-—ортогональная матрица, то по определению. 
Ку= АЛУАТ при любом \, где АУ — диагональная матрица с эле- 


ментами‘ ЛУ, а: 
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лы (18) имеют вид 
| 4 =1, хан, аа (19) 


С». — Чо -- а,» те ЧИ (п — 3, 4, —% .). 
с #9 -- ‚ ; 


2.3. Разложение плотности по полиномам Эрмита. 
Разложение (15) можно строить на основе различных 
_ «эталонных» функций | (х) как для непрерывных, таки - 
для дискретных и для непрерывно-дискретных случай- 
ных величин. Выбор «эталонной» плотности р (х) в зна-. 
чительной мере определяется характером функции ] (х).. 
От удачного выбора |, (х) зависит простота и точность 
представления плотности | (х) отрезком разложения (15). 

Для непрерывных величин широкое распространение 
получило разложение (15), основанное на нормальном „ 
распределении. В этом случае для ее ска-_ 
лярной величины в силу (3. ых 


К (х) = "< г ре 


При- этом полиномы р, определяются формулой 


р = Н, 0) (и-=0,1,2,...), 0. 


‘где Н, (х)— полиномы Эрмита: в = _ 
Но =1, Нах, Н, = р - 
Н. (х) =х— 3х, Н,(х) = х*— 6х*- 3, 

и вообще - а - - 


[1/2] 
Нет» (би) Сети 0 


т=Т 


В этом случае формулы (19) дают для первых семи ко- 


_эффициентов с, выражения — 
№ _ № -—3 
(= баб. т, г. Уй”. — 
с зе о в Ма На (25) 
5  У5! ) 6 - Уб! < = 

и ряд (15) принимает ВИД 

[498]. в 
п=3 з 


а того, чтд. 


р ‚в, ре - Г рр (х) = (—1)” Чит (х), 


—. 
- где Ф (х)— функция Лапласа, определяемая формулой. 
(3. 91), формулу (24) можно также представить в виде 


= Но-9' 0+5. Сон. `е5 


Это разложение ‹ обычно называется рядом Г: р — Шарль | 
типа А. — | 
| ‚Так как для ‘любой скалярной случайной величины Х мо- 
мент порядка № соответствующей нормированной вели- 
_ ЧИНЫ ‘равен №»/с*, где №, — центральный момент порядка № 
_ величины Х, а о ее. среднее квадратическое отклоне- 
ние, то для произвольной случайной ‘величины Х, имею- 
щей среднее квадратическое` отклонение с и `математи- 
ческое ожидание, отличное от нуля, величины и, в фор- 
мулах (19) и (23) должны быть заменены соответствующими 
- величинами ‚Мь/б^. ‚В ревУлЬхате формулы (23) и и (25) при- 
мут вид | 


= | р т . : Е ] Из: а | 4 __ 
о о ут (ы 3), 
ут (НЫ—10), «у (9-18 +30), (26) 
; Я ‚ (х—тх т ([—1)с и ти х—т. 
| 1 = 5 р и. +5 В те б -) | ея 


Сравнив. формулы ‘для су ис с (3: 83) И (3. 84), видим, 
что коэффициенты с, и с. пропорциональны соответст- 
‘венно асимметрии %, и эксцессу ф,, сз =\/И 31, «= И 4. 
При применении конечного отрезка ряда (27) для 
нахождения оценки плотности моменты в выражениях 
коэффициентов с, заменяются их оценками. 


Пример 3. Представить рядом Грама—' Шарлье ‘плотность 
равномерно распределенной случайной величины. 


Нормируя случайную величину, получим = а= УЗ (при: 
мер 3.3). Вычислив для этого случая моменты случайной величины 
и и. Сак, ое ее (25) в виде 
—  -ФО-оФ ОЕ Фев: 
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На рис. ЗА показано приближение к постоянной плотности одним, 
двумя и тремя членами разложения (кривые /,2и3 соответственно). 

Пример 4. Представить . ‚рядом Грама — Шарлье ПЛОТНОСТЬ. 
дискретной случайной величины, . вОЗМЮжными - значениями ре 


Рис. 34. 


служат все целые неотрицательные числа, причем А. 
Р(Х=т) = рт (т=0, Ро: са) 


В данном случае естественно за «эталонное» распределение, при 
а: пуассоновское с тем же первым моментом 0; 


ю®= у - 2-8 БЕ. 
т=о _ | 


Легко проверить, что ортонормальные полиномы ри (х) выражаются 
через моменты 09, @0,... эталонного распределения [о (х) и моменты 
и, @›,,.. распределения [}(х) при любых Ро (Хх) - и Г (*) форизлон 


(— 1" А, (%) 


рн (Хх) =-=—— ша 
УД». Аи 
где 
1 х а: 
00 В. 
Дон (х) = ; ы ЕЕ 2-, 9, 
0 0 0 Я 
С ое 
0 
1 1 о.ь р 
00 00 г 0 
АЕ 2 рт (р=1.2, ...). 
< . 0. * * 0. г. * ® ® "о * "зада 
“р Я рт э.о 5 р 


В соответствии с (17) коэффициент с получается заменой в опреде- 
лителе Дои (х) степеней аргумента х соответствующими : моментами. 


° 313 


В результате получаем для / (х) разложение а. 


3 == 


_ где 
1 2 гу ни 
ы 1 ааа. 5 
Дов (@&) =| = > (п=1,2,..,) 
= 0 0 0 
м. 


В частности, для пуассоновской’ [о (х), приняв @?=0: и выразив 


а, 0, ... через а, получаем. 
| Ее | ь 
| ый АН _ (а — и — 04) (1-- 2.) . 
х) = Е т--. 
п = У. и т + 
т=о 
ы ь =. а) — 01 —01 : 
и - т? -- = 6 (х —т), 
где | Е. | | 
К: = : г 
"и == У три (п=1,2,..:). 
т : 


Пример 5. Найти приближенное выражение плотности для 
экспериментальных данных примера |, ограничиваясь в формуле (27) 
первыми тремя слагаемыми. 

В условиях примера | находим выборочные среднее и централь- 


ные. моменты второго, третьего и четвертого порядков х = 18,2, 
5 =2,80. 104, и; =3,4.105, их =15,17.10 *), после чего по формулам 


(3. 83) и (3. 84) находим оцейка асимметрии и эксцесса: 


т 3 -  15,17.108 
А 72—5,807-108— 3 &— -1,07. 


Далее находим коэффициенты сз и са: АЕ 0,030; 


Е =2/У 41 = —0,22. Подставив эти значения и значение о * И ре== 167 
° в (27), получаем приближенное выражение плотности: 


х- х—18,2\ х—18,2 
ы ый а КЕ ст ЗВ (У т еОь ФН 
Ра) =0,00598 | ( и. 0,012ФЧ ( ее 


ее | т ва и) 
ны ( 97/1: 


График этой плотности показан на рис. 32 сплошной линией. Для 
сравнения штриховой линией показан график нормальной плотности 
с теми же первым и вторым моментами. 


°  *) Для вычисления выборочных средних и центральных момен- 
тов второго, третьего и четвертого порядков по группированной 
выборке В .[94] ‘служит программа МОМЕМ, использующая для вы- 
числения частот программу ТАВ|. | 
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2.4. Ряд Эджуорта. Рззаание плотности по ортого- 


нальным полиномам, в частности ряд Грама — Шарлье, 


обладает тем свойством, что для вычисления коэффи- 


циента с, необходимо знание моментов случайной величины 
до порядка я включительно. Между тем момент порядка п 


часто входит в выражение коэффициента с, с таким ма- 


лым коэффициентом, что практически не влияет на ве- 
личину с . Наиболее характерен в этом отношении слу- 
чай, Когда величина Х представляет собой сумму большого 
числа слагаемых. Согласно предельной теореме 6 5.4 
распределение величины Х в этом случае при достаточно 


общих условиях близко к нормальному. Если представить - 


ее плотность рядом (27), то все члены ряда, кроме пер- 


вого, будут стремиться к нулю при неограниченном воз- 


- растании числа слагаемых в составе величины Х. В этом 
случае важно получить такое разложение плотности, 
‚в котором объединены все члены одного порядка отно- 
сительно п. Чтобы решить’ эту задачу, рассмотрим слу- 
чай, когда величина Х представляет собой сумму оди- 
наково распределенных независимых случайных величин 
Х,,..., Х„, имеющих моменты всех порядков. | 


п? 


- Пусть и, =о0*”, ц,, ...— моменты случайной величины 


Х=Х,-|....- А», № =01, |;,...— моменты каждой из 


случайных величин Х,,...,А,. Выразим `-моменты ц,;. 
и., ... Через п., из,... В силу независимости величин. 


Х.,.:., А» получаем 

› Шу = 0? == Про = Иб1, Из = ПН», | 

ма = Ин. - Зп (п—1) 01, не 

в = - 109 (п Паш, = _ (28) 

ц;= Пи. 107 (п— и’ - 15 п По - 
15 (и— 1 (п— 2) 0, 


аа „0 ео 


‚ Подставив эти выражения в (26), находим 


ее = = 
3 ИЗ о ус п’ 

и и Из 1 
аут (101) тт. 


т (№ 15 Е 
У" = у ( о "О ая +30) =. 


После подстановки этих выражений в (27) и объединения 
величин одного порядка малости относительно п-1 будем 


_ иметь 


а ами 
У Ве > х—т,\ - х—т,\] _ 
И ВЫ 
- =[#(+- 10-® ЗЕ 
35 № ин х—тх\ 
не г ии аа - )+ 
а е- Фо ("| пе... (09 


Отсюда видно, что для вычисления |(х) с точностью по- 
рядка О (п-*) достаточно вычислить коэффициенты Св, с,, 
с, и с,, учитывая только моменты не выше четвертого 
порядка. Подставив в (29) выражения моментов от, цз, 
ы:, ... через 0”, р,, [, ее из (28), приведем (29) к виду 


по (5 ао 
ое чи 
ов) о). 
о 

т (в) Ф® (===) +...1, 80) 


где каждое из выражений в квадратных скобках содер- 
жит только величины одного порядка малости относитель- 


Е оО: ый 


Разложение (30) называется рядом Эджуорта [196]. 
Оно представляет собой асимптотическое разложение 
[(х)*) по степеням п-1?, причем, как показал Крамер, 


*) Ряд У анфь (2) называется асимптотическим разложением 
функции ] (2) при 2 —+ 2%, если ‚При, любом п фи (2—0 при 2—2 и 


=} ду авфь (г) =0 (фи (2). 
=1 : у 
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остаточный член имеет ыы первого отброшениого 


члена [45]. . 

Если ограничиться в (30) членами порядка п-т и учесть, 
что величины и./0з и (ц./0“)—3 согласно (3.83) и (3.84). 
представляют собой соответственно асимметрию т, и экс- 
цесс у, распределения случайной величины Х, то полу- 
чим следующее приближенное. а: для плотности 
величины Д: 


И. ‚ [х—Тх ао [1 
и 


2% (ие) + т к: фоУтГ (из) | а _ (31) 


Этой формулой часто пользуются на практике. 

Аналогично можно получить ряд Эджуорта для пПлоТ- 
ности векторной случайной величины [20]. 

2.5. Представление плотности линейной комбинацией 
данных функций. При пользовании конечными отрезками 
разложений по ортогональным полиномам, как мы виде- 
ли в.примере 3, иногда получаются малые отрицатель- 
ные значения плотности. Это естественное следствие того, 
что любой конечный отрезок ряда дает лишь приближен- 
ное значение функции, представляемой данным рядом. 

Перейдем к общему способу приближенного представ- 
ления плотности линейной комбинацией заданных функ- 
ций. Пусть |(х)— плотность случайной величины Х, 


ф, (х), ..., Фм(х) —заданные функции. Задача прибли- 
жения плотности {(х) линейной комбинацией функций _ 
`ф,(х), ..., Фм(х) сводится:к определению о 
ОЕ с, в приближенной формуле 

Г(х) == с: ф: (ХУ... смФм(Х).. (32) 


Эта задача может быть решена различными способами. 
Она решается стандартными методами теории приближе- 
ния функций, если [(х) известна. Однако в теории веро- 


Очевидно, что всякий степенной ряд, сходящийся к функции }(х), 
является ее асимптотическим разложением при 2 —+ 0. Однако асим- 
птотическое разложение может и не сходиться ни при каком г. Асим- 
птотические разложения, наряду со сходящимися рядами, широко 
применяются для ‘вычисления значений функций и для решения прак- 
тических задач. При этом асимптотические разложения по положи-о 


тельным. степеням аргумента. дают достаточную точность только при. 


дсстаточно малых значениях аргумента, а асимптотические разложе- 


= 


ния по отрицательным степеням аргумента— только при достаточно 


больших значениях аргумента. 
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ятностей обычно приходится решать эту задачу, когда 
плотность ]|(х) не известна. В этом случае - приходится 
пользоваться специальными приемами. 

Если известно №—1 моментов. величины Х, то, при- 
равняв эти моменты соответствующим моментам, вычис- 
ленным с помощью выражения (32), получим №1 урав- 


нений, связывающих коэффициенты с,, ..., См. Добавив 


_К ЭТИМ уравнениям очевидное соотношение 


С: \ (ах +: =. см } Фи (ах = |, 


получим Л линейных алгебраических уравнений для опре- 
деления С:, ..., См. = 

В частном случае скалярной величины Х, зная ее мо- 
менты и, ..., 9-1, получаем уравнения 


Хы мыса о, (г=0,1, ..., М1 %= 1. 
В. случае векторной величины Х следует выбрать М 


равным числу всех известных моментов, увеличенному 
на |. . 


В случае, когда требуется найти оценку плотности } (х) 
вида (32) по результатам опытов, задача сводится к оце- 


_ ниванию неизвестных коэффипиентов с,, ..., См. 

Эта задача решается любым методом нахождения оце- 
нок неизвестных параметров распределений. В частности, 
оценки коэффициентов с,, ..., См можно найти методом 
максимума правдоподобия или методом моментов. В по- 


следнем_ случае она решается так же, как :] случае ИЗ--= 


вестных моментов, только вместо самих моментов в урав- 
нения для С:, ..., См войдут их оценки. 
Если взять в качестве функций ф., ..., фл некоторые 


_ плотности, то часто удается избежать отрицательных плот-. 


_ ностей при вычислении их.по формуле (32)._ : 

Можно также искать приближенное представление 
плотности линейной ‘комбинацией вида (32) заданных функ- 
‘ций ф,, ..., Фл, зависящих от неизвестных параметров. 
В этом случае задача сводится к совместному определе- 
нию или оцениванию коэффициентов-.с,, ..., См и неиз- 
вестных параметров, входящих в выражения функций 
ф1, ..., Фм. При этом можно взять меньше слагаемых в 
(32), но зато уравнения для неизвестных параметров или 
их оценок, получаемые методой моментов, уже не будут 
линейными. 
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Пример 6. Представить ` распределение о. случайной 
величины примера 4 ‘линейной комбинацией „двух распределений — 
Пуассона: | 

* ©. В '« > т 
= У, [1 си т" вт), 


— 
— 


считая параметр ц неизвестным, а параметр # > | известным. 
В данном случае с, | с. =1. Поэтому мы положили с1==С, с» == 
= |—с. Для определения с и и применим метод моментов. Имея в 


виду, что первые ДРАа момента распределения Пуассона и”е“ ит! 
равны и и и-{ ц?*, получаем уравнения 
си-Е (1— с) ЦА = 01, 
с (и н*)- (1—0) (Вы-- А?) = 9. 
Решив эти уравнения и приняв во внимание, что при ©» = 0 -- а? ЭТы, 


уравнения имеют очевидное решение с=1, и=оа., получим 


ИВ УР а 4” 
2—1). 


= > 
. 


р 


р 2 
21 =. 9 


—- 


РИ УРА аи 


\ 


$ 3. Проверка гипотез о распределениях 


3.1. Задачи проверки гипотез. Из сказанного в $ 6.1 
ясно, что распределение случайной величины принципи- 
ально невозможно точно определить по результатам опы- 
тов. Полученные экспериментально оценки распределения 
дают возможность !только строить различные гипотезы о 
распределении случайной величины, например гипотезу _ 
о том, что она распределена нормально. Поэтому возни- 
кает задача проверки гипотез. Эта задача состоит в том, 
чтобы определить, насколько хорошо согласуется та или 
иная гипотеза о’ распределении случайной величины с 
полученными эксиериментальными данными. Ясно, ‘что 
эта задача тесно связана с задачей определения доверн- 
тельных ‘областей для плотности или функции распреде- 
ления. Однако она имеет и некоторые особенности. Дело 
в том, что. по той же выборке, по которой` проверяется 
гипотеза о распределении, обычно оцениваются и не- 
которые параметры. этого распределения: Так, например, 
проверяя гипотезу о нормальном распределении, по той 
же выборке обычно оценивают математическое ожидание 
и ковариационную матрицу (дисперсию в случае одномер- 
ного распределения) слу чайной величины. Вследствие 
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этого гипотетическое распределение оказывается само слу- 
чайным — функцией случайных результатов опытов. "Это и 
отличает задачу проверки гипотез о распределении от за- 
дачи определения доверительных областей для, распреде- 


лений. И только в отдельных частных случаях может. 
_ возникнуть задача проверки гипотезы о том, что случай-. 


‘ная величина подчинена вполне определенному закону 
распределения, не зависящему от неизвестных параметров. 
Для проверки гипотез о распределении применяются 
различные критерии согласия. Наиболее удобным НЕ 
версальным критерием согласия является критерий у? 
К. Пирсона. Он совершенно не зависит ни от распреде- 
ления случайной величины, ни от ее размерности. 

3.2. Критерий %?. Критерий у” К. Пирсона основан 
на использовании в качестве меры отклонения экспери- 
ментальных данных от гипотетического распределения той 
же величины, которая служит для построения доверитель- 
ной области для неизвестной плотности, с заменой неиз- 
вестных истинных значений вероятностей попадания в 
‘интервалы вероятностями, вычисленными по гипотетичес- 
кому распределению. Предположим, что область возмож- 
ных значений случайной величины разбита на г _интер- 
валов (многомерных, т. е. прямоугольников; в случае 


векторной величинь). Пусть; каки в 9 ЕР. ....Р. 


случайные частоты попадания в эти интервалы, получа-. 


емые в результате п опытов, Р., ..., Р,„— вероятности 
попадания в те же интервалы, вычисленные по. гипоте- 
тическому распределению. `В общем случае эти вероят- 
ности являются функциями оценок неизвестных парамет- 
ров, получаемых по тем же экспериментальным данным, 


и потому тоже являются случайными величинами. Пред-. 


положим, что оценки неизвестных параметров гипотети- 
ческого распределения вычисляются по той же группи- 


рованной выборке, что и частоты Р., ..., Р,. Тогда 
‚ вероятности Р., ..., Р, будут некоторыми функциями 
частот Р,, ..., Р,, и вместо величины Н, определяемой 


формулой (1), для оценки отклонения экспериментальных 
данных от гипотетического распределения придется взять 
_ величину 


| - 
` (Р, Е 
о И , — определенные жи частот Р,, ак. Р.. 
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Нейман и Е. Пирсон показали, что если для вычисле- 
ния вероятностей Р., ..., Р, применяется асимптоти-_ 
чески эффективная ‘и асимптотически нормальная оценка 
неизвестного 5-мерного параметра гипотетического. рас- 
пределения по группированной выборке, то величина 2, 
опребеллемая формулой (33), в пределе при п—+ со имеет 
х?-распределение с г-$—1 степенями свободы |[65, 45|. 

Пользуясь этой теоремой, можно оценивать расхож- 
дение экспериментальных данных с гипотетическим рас- 
пределением с помощью таблиц у*-распределения (табли- 
‚ ца 5). Выберем, достаточно малую вероятность р, чтобы 
событие с такой вероятностью можно было считать прак- 
тически невозможным, и определим у» из уравнения | 


[2.2] 


В (> 2) = |} ри (и аи= р, — Ё=г—8-—1. 

Гы | : 

р 

Если реализация 6 = у? величины (, полученная в резуль- 
тате опытов, превосходит у» или равна х,„, 6=5? >72, 
то гипотетическое распределение считают не согласую- 
щимся `с экспериментальными данными, так как при этом 
распределении практически невозможно. получить при 
одной выборке & =.” >у». Вероятность такого события 
при болышном числе опытов ип приближенно равна р, т. е. 
‚пренебрежимо мала. В этом случае говорят, что имеет 
место значимое отклонение экспериментальных данных от. 
гипотетического распределения. Если же & =? <)», то 
считают, что гипотетическое распределение не противо- 
речит экспериментальным данным, согласуется с ними. 

Величина 5, называется 100р-процентным уровнем 
значимости отклонения выборки от гипотетического рас- 
пределения. В приложениях обычно пользуются э-, 1- 
и 0,1-процентными уровнями значимости, в зависимости 
от ‘характера задачи. : 

Для дополнительной проверки согласованности экспе- 
риментальных данных с ‘гипотетическим распределением 
полезно вычислить вероятность того, что при данном ги- 
потетическом распределении величина Д окажется больше 
полученной, в результате опытов ее реализации &=у?, 
Р (2 > У"). Эту вероятность можно также приближенно 
определить по таблице ‘5. Чем болыпе эта вероятность, 
тем лучше согласуется выборка с гипотетическим распре- 
делением, тем меньше значимость полученного расхож- 
дения выборки с гипотетическим распределением. Дейст- 
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_вительно, если вероятность Р(7> у?) велика, то при 
повторении данной серии опытов в случае справедливости 
выбранной гипотезы о распределении часто будут полу- 
чаться значения величины 7 еще большие, чем получен- 
ное в результате опытов ‘значение & = 5?. 
Обратим внимание на то, что, получив = у ХЕ 
_ даже получив высокую вероятность Р (2 > 5"), мы не де- 
лаем определенного вывода, что выбранная гипотеза о 
распределении справедлива, а говорим лишь, что эта ги- 
потеза не противоречит полученным результатам опытов, 
что она согласуется с ними, вследствие чего ее можно 


принять. Чтобы получить достаточно веское доказатель-_ 


ство того, что случайная величина действительно подчи- 
нена гипотетическому закону распределения, необходимо 
_ повторить данную серию опытов достаточно большое число 
раз и убедиться в том, что полученное согласование ги- 
потезы с результатами опытов устойчиво. 


Если Ё=г—$—1 > 30, то величину Х =У7 можно 


считать распределенной нормально М(ИЕ— 1/2, 1/2) и 
для вычисления величины х› воспользоваться формулой 


РХ> Хр) =1Ф(,И2= -И2Е—1=р 


и таблицей функции Лапласа (табл. 1). 

Подчеркнем, что при вычислении полученного в резуль- 
тате опытов значения & =5? необходимо учитывать также 
‘бесконечные интервалы с нулевыми частотами и отлич- 
ными от нуля при гипотетическомь распределении веро- 
ятностями. 


Ее ример 7. В условиях примера 1 проверить гипотезу о нор- 
мальном распределении случайной величины. 
В данном случае с учетом бесконечных 11-го (— <, 385) и 12-го 


(415, с) интервалов имеем г = 12. Так как по той же группирован-* 


ной выборке мы оцениваем два параметра т; и О.,, то $5=2 и 
Е=г—$—]=9. По таблице 5 находим для А=9 и р=0,05 5%-ный 
УРОВЕНЬ значимости Ио = 16,92. Для вычисления полученного значе- 
ния Г находим по гипотетическому нормальному распределению при 

т„=х==18,2 вероятности попадания в интервалы Ах, . Полученные 


значения частот и вероятностей приведены в таблице. 

По этим данным находим по формуле (33) у? =4,157. Так ыы 
это значение у? значительно меньше критического значения Хр, 
можно считать, что гипотеза о нормальном распределении ай 
величины не противоречит результатам опытов. 

Вычислим еще вероятность значения меры расхождения 7, боль- 
шего, чем значение у? =4,157, полученное в результате опытов. `По 
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р.-10* |200] 600] 800] 1600 | 1<00 | 1700 
р,-10* | 190] 467| 919] 1440 | 1826 | 1837 


. 


1400 |8001700]300] 0 | 0 


таблице 5 при &=9 и Хр = 4,157 находим Р (2 > 4 157) = = 0 ‚908. Таким 


образом, при` справедливости нашей гипотезы о распределении можно 
с вероятностью = 0,91 получить еще большее расхождение )”, чем 
то, которое получилось в результате опытов. Это служит дополни- 
тельным основанием для принягия гипотезы о том, что случайная 
величина Х распределена М (18,2, 168). 

Пример 8. Для тех же экспериментальных данных проверить 
гипотезу о том, что распределение определяется плотностью, найден- 
ной в примере 5. 

Пользуясь формулой примера”5 для плотности. и таблицами | и 


2 функции Лапласа и ее производных, находим вероятности попа-. 


дания в интервалы. Результаты приведены в таблице. 


= 


р.,-10* 


20° 1494°| 1624 | 1621 


ча 1073 


> 


Подставив эти вероятности и соответствующие частоты из примера 

в формулу (33). находим (? =2,528. Так как в данном случае по 
на же группированной выборке оцениваются четыре параметра т,,, 
0х, у! И у,то $5=4 и \?-распределение имеет А =г— $— 1 =7 сте- 
‚пеней свободы. По таблице 5 находим для & =7Ти р==0,05 критическое 
значение у? = 14,07 и вероятность получить значение у? большее, 


чем 2,528, Р (7 > 2,528) =0,923. Таким образом, распредз ление, по- 


добранное в примере 5, согласуется с экспериментальными данными. 


несколько лучше, чем нормальное распределение. 

Пример 9. В условиях примера 7 проверить гипотезу о рас- 
пределении М (15, 160?).. 

В данном случае мы не оцениваем параметры нормального рас- 
пределения по выборке, а просто задаем их. Основанием для их вы- 
бора служит только то, что точка х=15 является средней точкой 
‘интервала, занятого- экспериментальными точками, причем 51 экспе- 
риментальное значение случайной величины меньше 15, а 49— боль- 
ше 15, и что 66% всех точек лежат в интервале (15—160, 15-| 160), 
в то время как при нормальном распределении вероятность попада- 
ния в интервал (т,—0х., т‚-- ох) равна 0,68: Поэтому в качестве 
меры расхождения между гипотетическим распределением и эксперни- 
ментальными данными можно принять величину Н $1. Предельным 
распределением этой величины служит .?-распределение.< г—1 = 1 
степенями свободы. При этом получается (2 =5,221 при 5%-ном уровне 
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значимости ты — 19,68 и `Р (Н > у?) = 0,9178. Таким образом, несмотря 
на ‘несколько большее расхождение между вероятностями Ру, и часто- 


тами р. по сравнению с примером 7, у?-критерий дает не меньше 
оснований для принятия гипотезы о распределении М (15, 160°), чем 
для принятия гипотезы о ЕЯ М (18,2, 168?). 

_ 3.9. Вывод предельного 5?-распределения. Докажем 
теперь теорему Неймана и Е. Пирсона об асимптотиче-^ 
СКОМ Я ПредеЩений. величины 


ри Мы [Ру — р» (@)1* оду. 


] Ру (9) 
где 9 = ф(Р) — оценка параметра 6, представляющая со- 
‚бой некоторую функцию вектора частот Р=[Р,... РГ 


(т. е. найденная по группированной выборке), а И — век- 


тор с координатами № = [Ру — 2, ®У (0). = 
ЕЕ 
> `Для нахождения ‘асимптотических распределений 
_ величин М и 7 выразим вектор. № приближенно через 
вектор И=[У, ...У, |": 


У = к (0) ] и п/р» (6) (9) (У ое п). 


^ - Предположим сначала, что 9 представляет.собой оцен- 
ку максимального правдоподобия, т.е. корень уравне- 


дп р. (9) 


вия ы. 31), котсрое мы запишем в виде У, ое - 0. 
| а 5 д п р» (9 
0 — т, 10 Ур бе 0. Вычитая 
это Уравнение ИЗ предыдущего, получим 
| д п р (9 Е 

- [2 РАб “в = 0. (34) 


_Имея в виду, что 9-0 иР-ьр(9)по вероятности при 
п — со, будем искать решение уравнения (34) в виде разло-. 
жения по степеням разности Р— р или, что одно и то же, по 
степеням вектора И. Тогда с точностью до малых первого 
порядка будем иметь 

Гы 
У. | ,-^-% 9 (8- 9) |; 0, 


\= 1 


или, после умножения на | п, 


9 т др» Тр, 
у. т у— Уп ож ру 00 06 © 9-0) = 0. 


`У=1 


Воля матрицу 


Е 
о 06 "Ур, 900 1 
можем ен Е о В виде 
—Иясст (0—0) = 


Если матрица на ыы имеет ранг $, то 
и С имеет ранг $. Поэтому матрица ССТ тоже имеет ранг 
5 и, следовательно, существует обратная матрица (ССТ)-* 
и полученное Е а решение 


‚9=0---= (ССИ-СУ. . _ (5) 


Эта формула с точностью до величин порядка о (п-*/?) 
определяет и решение исходного уравнения (34). 
Пользуясь формулой (35), можно выразить вектор 
через У с точностью до величин порядка о (п-'/?). Для 
этого заметим, что с точностью до величин порядка 


Упо(] 0—0} | 
— Р-р, (9) _ Та Е Е 
А у [64]. 
— а И 
Подставив сюда выражение (35), получим с точностью. до 
величин порядка Упо(п- Е 1/2) | 


И, =И,— ТА 


ут 
или, в матричной форме, | = | 
И = /—Ст(ССт)-* СТИ. =: 989 

Итак, вектор № выражается через И асимптотической 
формулой (36). -Следовательно, ковариационная матрица 


вектора № выражается через ковариационную матрицу 
ри У, К,=1— 99", формулой 


НЯ С —997) [1 — СТ (ССт)-С]= о 
—=[—097 —С"(СС”- ее 
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Па выводе этой формулы: мы воспользовались соотно- 
шением Сд=0. 

Умножив (36). слева на матрицу С, получаем СИ =0. 
_Это равенство дает $ скалярных соотношений между 
‘координатами вектора №. Кроме того, координаты век: 


тора № связаны скалярным соотношением а (9)Т № =0, 


где 4(6)—вектор с координатами И р, (б),..., Ир. (8). 
В пределе при п —* со это соотношение переходит в то 


_же соотношение, которым связаны координаты вектора И, 


д'\ =0. Таким образом, координаты вектора. № свя-. 
заны $--|! скалярными соотношениями. Эго значит, что 
асимптотическое распределение вектора № является 
вырожденным нормальным распределением, сосредоточен- 
ным на (г/—$—1)-мерном подпространстве, и, : следова- 
тельно, его ковариационная матрица К„ имеет ранг 
г—$—1. Воспользуемся теперь последним результатом 
примера 5:33. .Матрица -А в этом случае представляет 
собой единичную матрицу /, а В=Ку/*АК!*=К,. Таким 
образом, матрица В имеет ранг г —$—1 и удовлетворяет 
соотношению К*=К. в силу того же равенства Са =0, 
т. е. является матрицей проектирования на некоторое 
(/—$—1)-мерное а аи г-мерного простран- 
ства. 

В соответствии с последним результатом примера. 
5.33 ‘отсюда и следует, что асимптотическим распреде- 
лением величины =" служит х5?-распределение 
с г—5$ —1 степенями свободы. < 


_- Этот, результат мы получили, предполагая, что 


оценка 9 параметра 9. является оценкой максимума 
правдоподобия. Однако этот результат верен и для слу- 
чая произвольной асимптотически нормальной и асимпто- 


тически эффективной оценки ©, так как все такие оценки 
с точностью до величины порядка о (п-!/?) совпадают и 


_ определяются формулой (35) (в противном случае отно- 


шения дисперсий этих оценок не могли бы сходиться 
к 1 при п-—+ 09). 

3.4. Оненизание параметров распределений методом 
минимума у?. Изложенный метод проверки гипотез о рас- 
пределениях естественно наводит на мысль искать такие 
оценки неизвестных параметров гипотетического распре- 
деления, при которых полученная реализация & = у? меры 
расхождения 7 экспериментальных данных с гипотети- 
ческим Гриспрехелением имеет минимальное значение. Так 
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_мы приходим к новому методу нахождения оценок пара- 


метров распределения — методу минимума /?. 


В случае, когда вероятности р,, ..., р, попадания. 
в выбранные интервалы имеют непрерывные производные, 


по всем координатам вектора 9, метод минимума 5х? дает 
для оценки параметра 0 уравнение 


У Рут бы уу (Р-Р) р, 0 
Ру = У= а у 


‘где, как всегда, 0/00 представляет собой вектор с коор- 


динатами 0д/00,, ..., 0/00.. Учитывая, что пр,=т, пред- — 


ставляет собой число экспериментальных точек в У-м 
интервале (у=1,....г) и что Удр,/00=0 вследствие 


- равенства Ур,=1, перепишемо полученное уравнение _ 


° В виде 


а т,— пр)? д т 
У, \ би —— =“ —=0. 


м=1 


Вторая сумма здесь обычно мала по сравнению с первой. — 
Если пренебречь второй суммой, то уравнение мини-_ 
мума ›)? совпадет с уравнением максимума правдоподо-_ 


бия (7.31). Поэтому оценки минимума 5? обычно близки 
к оценкам максимума, правдоподобия. 

Метод минимума %?, как и метод максимума правдо- 
подобия, дает при весьма общих условиях асимптоти- 
чески эффективную и асимптотически нормальную оценку 
параметра 0 (как в случае ие как и в случае 
векторного 0). 

3.5. Другие методы проверки гипотез о распределе- 


ниях. Кроме метода )?, можно применять другие методы. 


проверки гипотез о распределениях. Крамером [43], 
Мизесом [60] и Н. В. Смирновым [97] предложены кри- 
терии согласия, основанные на мерах расхождения, за- 


висящих от. разности Ё(х)— ЕР (х) —отклонения оценки 


Е(х) функции распределения от гипотетической функции. 


распределения Р(х). К критериям такого рода относится 
критерий Колмогорова, основанный на предельном рас- 
пределении величины И = У пмах | Е (х)—Е(х)| при 
п—»о в случае полностью заданной гипотетической 
- функции распределения Ё(х) скалярной случайной вели- 
чины Х. Пользуясь таблицей предельной функции рас- 
пределения т К (и) (таблица 7), ‘можно про- 
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верять гипотезы ` об одномерных распределениях совер- 
шенно так же, как при применении Х’-критерия. Задав 
достаточно малую вероятность р, можно найти по таблице 
‚функции К (и) 100р%-ный уровень значимости и,, опре- 
_деляемый уравнением Р(И >и,)=1—К(и,)=р. Если 
полученное по результатам опытов значение и меньше 
критического значения и„, то можно считать, что резуль- 
таты опытов не противоречат гипотезе, что функция` 
‘распределения наблюдаемой величины Х есть Р(х). Если 
же и>и,, то эту гипотезу следует отвергнуть *). 
_.Аналогично можно пользоваться критерием Н. В. Смир- 
нова, основанным ‘на найденном им предельном распре- 
делении величины пМ [| Р(Х)—Е(Х) | |х., ...,х,|, кото- 
рое в случае скалярной величины Х не зависит от Ё(Х). 
Однако теория проверки гипотез, основанная на таких 
критериях, пока еще очень слабо разработана. Поэтому 
х?-критерий остается пока что единственным практически 
приемлемым критерием для проверки гипотез о распре- 
делениях, заданных лишь с точностью до неизвестных, 
подлежащих оцениванию по той же выборке параметров, 
и гипотез о многомерных распределениях. 
_ 3.6. Проверка гипотез о независимости случайных 
величин. Вследствие универсальности у?-критерия и его 
применимости к многомерным распределениям он может 
служить и для проверки множества гипотез других типов. 
Покажем, как можно с помощью %?-критерия прове- 
рять гипотезу о независимости случайных величин. Пред- 
положим, что область значений величины Х разбита 
на г, интервалов, а область значений величины У — на 
г. интервалов. Пусть Ру и р; —бслучайная частота и 
вероятность попадания вектора ГАУ в пересечение 
{-го интервала значений Х и |-го интервала значений У 


Е Г 1=1,..., /,). Если Х и У независимы, 
то ру=рРг.Р.» где р:. и р.) т попадания Х 
в 1-й интервал иУв И (1=1, Е Е РЕНА 


Вероятности ру. и р., можно рассматривать как г, 4—2 
неизвестных параметров распределения вектора [Хт У 
(с учетом соотношений У р;.= У р.,=1). Согласно ре-. 
зультатам примеров 7. 3 и 5.48 эффективными асимпто- 


*) Для проверки гипотез о распределениях по критерию Колмо- 
горова в [94] служит программа КОГМО, использующая для вычис- 
ления функции распределения К (и) программу 5М1КМ. 
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тически нормальными оценками вероятностей  р,. и р.; 
могут служить соответствующие частоты 5 


Г 


Г2 
г. - : 
= 2 Ро ВЕР) 


55-2 


Поэтому величина 


а и о 


аа 


имеет асимптотическое %5*-распределение с ИЕ 
— (ии, — 2) —1 = (г, — и (г, —1) степенями свободы. Это 
дает возможность проверять гипотезу о независимости 
двух величин, как скалярных, так и векторных т. 

Совершенно так же проверяются гипотезы о незави- 
симости любого числа случайных величин. 

3.7. Проверка гипотез. о совпадении распределений. 
К другому типу гипотез, проверяемых с помощью 7?-кри- 
терия, относятся гипотезы: о совпадении распределений в 
нескольких сериях опытов, так называемые гипотезы 
об однородности статистических данных. — 

Предположим, что в результате №М независимых по- 


следовательностей опытов; содержащих п, ..., Пл, наблю- 
дений, п.-—...-пПу=и, получены частоты попадания 
наблюдаемой величины Х в интервалы А, (у=1, ..., Г), 


на которые разбита ‘область ее возможных значений. 
Требуется проверить гипотезу о совпадении распределе- 
ний величины Х (или № различных наблюдаемых вели- 
чин) в этих № последовательностях опытов. 


Пусть Р„,—лучайная частота попадания наблюдае- 
мой величины в.у-й интервал в и-й последовательности 
опытов, р,—вероятность попадания в \-й интервал 
Е ь—1, ..., М). Так как сумма независимых 
величин с %?-распределениями имеет 5*-распределение _ 
с суммарным числом степеней свод (пример 5. 31), то 
случайная величина 


о > 
н= у" 5 И 

при данных ‘вероятностях у, = г имеет асимптоти- 

*) В [94] для ‚проверки гипотезы о независимости двух случай- 


ных величин по 7*-критерию. служит программа СНТ$О. 
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_ческое у?-распределение с М№(г—1) степенями свободы, 
если распределение наблюдаемой величины одно и то же 
во всех сериях опытов. Это дает возможность проверять 
гипотезу о том, что во всех № последовательностях опытов 


‘наблюдаемая величина имеет одно и то же распределе-- 


_ние, для которого вероятности попадания в интервалы 
имеют данные значения р,, ..., р,. 

`Если гипотетическое распределение зависит от неиз- 
вестного 5-мерного параметра 6, который оценивается по 
тем же результатам опытов, то можно пользоваться сле- 
дующей теоремой, которая доказывается путем очевид- 
ного обобщения выкладок п. 3.3: если пользоваться 
асимптотически эффективными и асимптотически нор- 
мальными оценками параметра 9 по объединенной груп- 
‚пированной выборке, то м величина 


та. . в (Р,— — | (39) 


№м=1 


-_ имеет асимптотическое * а с М(г-—1)—5 

‚степенями свободы. Эта теорема дает возможность про- 
верять гипотезы о совпадении распределений в нескольких 
сериях опытов с одновременной оценкой их параметров. 
_ За неизвестные параметры распределения в таких 
задачах можно принять, в частности, вероятности 
р., ..., Р;-, р,=1— р, —..;: —Р,-.. В этом случае 

—=г— 1, а за оценки Р, вероятностей ру следует принять 
соответствующие частоты, вычисленные по объединенной 
а 


р-ты 1... 7, о выь (40) 


ЕН С, определяемая формулой (39), имеет в этом 
случае А = м (и—1)— (и—1)=(М—1) (г —1) степеней сво- 
боды. Этим критерием можно, в частности, пользоваться 
для проверки гипотез о совпадении дискретных распре- 
делений. | 

В частном случае при г=? отсюда вытекает критерий 
для проверки гипотез о совпадении вероятностей события 


в нескольких сериях опытов. Полагая в (39) и (40) 


| а. 
РЕР=- У пр Р,=1—Р=0, 


5 
4 
Я 
1 

| 
? 
1 


получим 


> р 
(Р. — РБ) 
= ое ла в ЕЕ (41) 


Эта величина имеет асимптотическое у*-распределение 
с \М—1 степенями свободы. С помощью этой величины #, 
можно проверять гипотезы о совпадении вероятностей 
интересующего нас события в нескольких сериях опытов. 

В случае скалярной наблюдаемой величины Х с не- 
прерывной функцией распределения для проверки гипо- 
тезы о *овпадении распределений в двух выборках можно 
пользоваться критерием Н. В. Смирнова, аналогичным 
критерию Колмогорова [98]. Пусть” Ё, (х) и Ё, (х)— выбо- 
рочные функции распределения наблюдаемой величины 
в двух сериях опытов, состоящих из п, и п, опытов 
соответственно. Н. В. Смирнов показал, что если функ- 
ция распределения наблюдаемой величины Х непрерывна,. 
то величина 


и= Я пах, 6) — А, в 22 в 


имеет то же предельное распределение Колмогорова при. 
п, п, —+ 00, что и каждая из величин И п, тах | Р, (х) — 
—Е(х)| и Ул, мах | Ё, (х) —Е(х)|. Это дает возможность 
проверять гипотезу о совпадении функций распределения 
в двух сериях опытов с помощью предельной функции 
распределения Колмогорова К (и) *). 


$ 4. Метод статистического моделирования = 


4.1. Задачи статистического моделирования. Непосред:. 
ственное экспериментальное изучение сложных случайных 
явлений часто требует. чрезмерно больших затрат средств 
и времени, а иногда и принципиально невозможно. Так, 
например, экспериментальное изучениефункционирования 
сложной системы невозможно до тех пор, пока система 
не создана: и не изготовлена. Между тем необходимо еще 
на стадии проектирования системы изучить все`ее основ-_ 
ные свойства, в частности эффективность ее функциони- 
р с уметам всех ет на нее о 


*) Для этого в [94] служит программа _Кот.м, использующая 
для вычисления К (и) программу -$М1КМ. 


ра 
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возмущений. В таких случаях прибегают к статисти- 
ческому моделированию изучаемых явлений. Статисти- 
ческое моделирование в ‘простейшей форме издавна при- 
менялось для решения различных задач. Современная 
вычислительная техника дает возможность имитировать 
практически без ограничений сложнейшие явления и 
процессы. Это привело к созданию и ‘развитию метода 
_ статистического моделирования как научного метода ис- 
’ следования, позволяющего сочетать теоретические рас- 
четы с имитацией. различных экспериментов, а частично 
и с натурными экспериментами над отдельными элемен- 
тами исследуемых систем *). 

Метод статистического моделирования основан на мо. 
делировании (имитации) изучаемого явления на ЭВМ 
с помощью теоретических. зависимостей с. непосредствен- 
ным моделированием влияющих на его течение простейших 
(первичных) случайных факторов и ‘на статистической 
обработке получаемых результатов. 

Метод ‘статистического моделирования оказался пло- 
дотворным и для решения ряда математических. задач, 
‚ не связанных с теорией вероятностей, например для 
вычисления интегралов, особенно многократных, решения 
некоторых уравнений и т.п. Применение этого метода 
_к подобным задачам основано на моделировании такого 
случайного явления, вероятностными характеристиками 
которого служат искомые величины. | 

‚Основой метода статистического моделирования яв- 
ляется моделирование случайных величин с заданными 
распределениями и событий с заданными вероятностями. 

‚ 4.2. Моделирование случайных величин. `Рассмотрим 
сначала способы моделирования скалярных случайных 
величин. На. основе результатов п. 5.2.3 для’ моделиро- 
вания случайной величины /Х с любой непрерывной 
функцией распределения Е (х) достаточно уметь модели- 
ровать случайную величину У, равномерно распределен- 
ную на ‘интервале ГО, 1]. Получив реализацию и вели-. 
чины У, найдем соответствующую реализацию х вели- 
чины Х по формуле х= 27 (и). 

_Для получения реализаций равномерно распределен- 
ных случайных величин применяются два принципа: 
физический и алгоритмический.` 


*) Метод статистического моделирования часто, особенно в ино- 
странной литератуге, называют методом Монте-Карло. 
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Физический принцип основан на использовании слу- 
чайных физических явлений, например потоков’ частиц, 
испускаемых радиоактивными веществами, или собствен- 
ных шумов электронных устройств. Действуя на соответ- 
ствующие регистрирующие устройства, используемое 
физическое явление генерирует последовательность неза- 
висимых случайных величин И. И.,, ..., каждая из кото- 
рых с вероятностью 0,5 принимает значение 0 или 1. Эту 
‚ последовательность можно рассматривать как последо- 
вательность двоичных знаков числа, представляющего 
‚собой значение случайной величины Е | 


ии И 2-Е: 


Можно доказать, что при неограниченной длине ‘после- 
довательности величина У равномерно распределена на 
интервале |0, 1|*). Реализации этой случайной вели- 
чины У вводятся в ЭВМ двоичными числами с тем _ 
числом знаков, с которым ЭВМ оперирует. 

Для получения реализаций равномерно распределен- 
ной случайной величины алгоритмическим путем в ЭВМ. 
вводят произвольное-двоичное число, занимающее все раз- 
ряды или часть разрядов какой-либо ячейки оперативной 
памяти. Над этим числом выполняют ряд простейших 
операций по специальной программе. Над полученным 
числом вновь повторяют те же операции и т. д. Генери- 
‚руемая таким способом последовательность двоичных 
`’чисел, конечно, не. будет случайной. Однако в достаточно 
длинном отрезке этой последовательности все числа _ 
с данным числом двоичных знаков ‘будут встречаться 
практически. одинаково часто. Поэтому взятое наугад 
число из этой последовательности можно считать реали- 
зацией случайной величины, равномерно распределенной 
на интервале [0, 1]. Благодаря этому свойству таких 
последовательностей они называются последовательно- 
стями псевдослучайных чисел. Существуют много различных 
алгоритмов и программ. ох псевдослучайных 
чисел [100] **). 


*) См., например, [11, 30]. В действительности вследствие от- 

` сутствия строгой независимости величин У, У., ... и из-за того, | 

что вероятности значений 0 и 1 величин У» не равны 1/2, распре- 

деление величины У оказывается лишь приближенно равномерным. 
**) Для генерирования последовательности псевдослучайных чи- 

сел, равномерно о на интервале [0,1], в [94] служит 

ая КАМРО 
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_В отличие от последовательностей, генерируемых 

_ физическими . источниками случайных явлений, одна и. 

_ та же последовательность псевдослучайных чисел может 

_ неограниченно повторяться. Поэтому одну и ту же реа- 
лизацию случайной величины можно использовать много-, 
кратно. Это дает некоторые преимущества при решении 
ряда практических задач. 

Нормально распределенную случайную величину на 
основании предельной теоремы п. 5.4.1 можно модели- 
ровать как сумму независимых случайных величин, рас-` 
пределенных по любым законам. В частности, можно 

_взять сумму независимых равномерно распределенных 
‚на интервале [0,1] случайных величин У.,...,У,. На 
основании предельной теоремы и результатов примера 
3.3 случайная величина | 


_ при достаточно боЛышом п распределена о 


М (0, 1). При этом случайная величина 2 =т,-+ ХУ, 
будет распределена приблизительно. М (т,, О,)*). - 

Моделирование векторной случайной величины сво- 

дится к последовательному моделированию ее координат. 
При этом первая координата моделируется. в соответствии 

- с ее безусловным распределением, а каждая последующая 
_ координата — в соответствии с условным распределением. 
`° при полученных ранее значениях всех предыдущих коор- 
динат. Для моделирования случайного вектора Х, `рас- 
пределенного нормально М (т,, К,), можно воспользо-- 
_ ваться любым каноническим разложением этого: вектора: 


^ 


= 


г 
Х =т,-+ > И Хрг 
.. ‚ р= 5 


_ где г— ранг матрипы К,. Выбрав координатные векторы 
так, чтобы дисперсии величины У, были равны 1 ($ 3.4), 
сведем задачу к моделированию независимых случайных 
величин У,,...,И,, распределенных М (0, 1). р. 


. #-::> 2 ` : с = . 
*) Для моделирования нормально распределенной случайной 
величины таким методом в [94] служит программа САЦ5$$, в которой 
принято п == 12. 
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ь 4.3. Моделирование событий. Для моделирования со- 
бытия А с вероятностью р достаточно моделировать 
случайную величину У, равномерно распределенную в 
интервале [0, 1]. При попадании этой величины в интер- 


вал [0, р| считают, что событие А появилось, а при непо- 


падании в интервал (р, 1|—что А не появилось. 

Точно так же для моделирования полной группы 
‚ несовместных событий А,, ..., А, с `вероятностями 
р., ...,Р,, р. -+...-Рр,=1, достаточно моделировать 
величину У, равномерно распределенную в интервале 
[0, 1], и считать, ‹ что появилось А, при попадании У 
в интервал [0, р, появилось А, при попадании УВ ИН- 


тервал (р:, р. Р.|, и т.д., ПОЯВИЛОСЬ А, при попада- 


нии У в интервал (р. +... р,-, 1]. 
4.4. Практические приложения метода. Применение 


метода статистического моделирования для решения ве- 
роятностных задач сводится к многократному непосред- 
ственному моделированию на ЭВМ изучаемого явления, 
включая ‘моделирование тех случайных величин и собы- 


тий, вероятностные характеристики которых известны, и. 


последующему статистическому оцениванию вероятност- 
ных характеристик полученных результатов. 

Так, например, при проектировании какой-либо слож- 
ной технической системы обычно многократно моделируют 
функционирование системы и действующие на нее воз- 


мущения (входные сигналы), вероятностные характери-. 


стики которых предполагаются известными. В результате 
‚ моделирования получается ‘ряд реализаций (выборка) всех 


величин, характеризующих работу системы (выходных ° 


сигналов). Статистическая обработка полученных данных 


дает оценки вероятностных характеристик величин, опре-_ 


деляющих качество работы системы (как правило, ее 


точность). Выполнив моделирование для ряда- вариантов. 


и значений параметров системы, можно выбрать для 
дальнейшей разработки и реализации тот вариант, кото- 
рый наилучшим образом удовлетворяет поставленным 
требованиям. 

Большим достоинством метода статистического моде- 


лирования является возможность включения в процесс. 


моделирования некоторых реальных элементов системы, 
в том числе и не поддающихся математическому описа- 


нию, например человека или коллектива. людей, участ-. 


вующих в работе системы. Основным недостатком метода 
статистического моделирования является необходимость 
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многократного моделирования случайного явления, чтобы 
получить выборку, по которой необходимые статисти- 
ческие характеристики могут быть оценены с достаточной 
точностью (представительную выборку). 

_ 4.5. Точность метода. Чтобы дать представление {е) 
зависимости точности метода статистического моделиро- 
вания от числа опытов, воспользуемся результатами 
$ 6.4, где было показано, что точность оценок 


п п 
^ — 1 > 1 — 
пу, Б=т У (иф 
Е=1 к=1| 


математического ожидания и дисперсии нормально рас- 
пределенной величины У характеризуется средними квад- 
ратическими отклонениями 


где об , — среднее квадратическое ‘отклонение величины У "): 
В. приведенной таблице показана зависимость относи- 


тельной точности оценок математического ожидания и’. 


дисперсии от числа опытов п. 


п 
Относительная 


о | : 
погрешность в % | |) ] 20 | 30 | 40 | 60 | 80 | 100 | 150 | 200 


131,6] 22,4 | 18,2 | 15,8 | 12,9 | 11,210 |8,2 [7,1 


47,2| 32,4 | 26,3 | 22,6 | 18,4 | 15,9 | 14,2] 11,6] 10,01 


Из: этой таблицы видно, что математическое ожидание 
можно оценить со средней квадратической погрешностью 
16 —19%, а дисперсию —со средней квадратической по- 
грешностью 23 —27% при п=30 —40. Практически ре- 
комендуется выбирать п >> 100, что обеспечит оценивание 

математического ожидания и дисперсии со средними квад- 
ратическими погрешностями 10% и 15% соответственно. 


_ _*) Формула для о0- ров при любом равпределении величины У’. 
тиример 3. 12). а 1 
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4.6. Решение вероятностных задач. Простейшей вероят- 
ностной задачей, которую можно решить с помощью ста- 
тистического моделирования, является задача вычисления 
вероятности попадания векторной случайной величины, 
особенно многомерной, в данную область В. Непосредст- 
венное вычисление интеграла (2.9), как правило, невоз- 
можно, а приближенное вычисление путем численного 
интегрирования требует большого объема вычислений. 
Моделируя случайную величину Х с заданной плотностью 
7 (х), можно за оценку вероятности Р(ХЕВ) принять _ 
частоту попадания Х в область В. Необходимый для 
расчетов объем вычислений будет, как правило, меньше, 
чем при численном интегрировании. 

Точно так же можно оценивать моменты различных. 
функций случайной величины Х как выборочные средние 
соответствующих функций, полученные в результате ста- 
тистического моделирования величины Х. 

4.7. Вычисление интегралов. Чтобы показать приме- 
нение метода статистического моделирования для реше- 
ния математических задач, не имеющих вероятностного 
содержания, рассмотрим задачу вычисления интеграла 


= ( 28 ах. 
В 


з 


Если область В ограничена, то ее можно заключить 
в некоторый прямоугольный параллелепипед К со сторо- 
нами, параллельными осям ОИ, Представим интег- 
рал [ в виде | 


\ 


ры (ео (ве 
_ В т `В 


(29 ь (ах, 
25) 


где о(Ю) —объем параллелепипеда Ю; а 1, (х)— индика- 
тор области В, т. е. функция; равная 1 при ХЕВ и 0 
при хЕВ. Последний интеграл можно а как 
математическое ожидание функции ф(Х)=8 (Х) 1 в(^)о(К) 
случайной величины Х, равномерно распределенной в па- 
раллелепипеде Р. Моделируя эту случайную величину Х, 


можно И оценку Г интеграла 1:1 как выборочное 
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‚среднее случайной: величины Ф00-= в(Х) 1) (Ву 


1-е, )1» (9. 


= 


При произвольной, области В можно взять произволь- 
ную плотность [(х), не обращающуюся в нуль нигде в В, 


например невырожденную нормальную, и представить 


г 


интеграл Г в виде 


= (ебу | 2 + (х) ах = } зы а 
В. В | 


Го 


Последний интеграл можно рассматривать как математи- 


ческое ожидание функции ф(Х)=5(Х) 1, (Х)/1(Х) слу-. 


чайной величины Е плотностью | (х). Моделируя эту 


случайную величину Х, можно получить оценку [ ин- 
теграла / как выборочное р Не величины Фф(Х)= 


аа | 


п 
| & (х)1в (Хх) — 
24 д‘ 

[=1 4 

Чтобы дать представление о. преимуществах ‘метода 

статистического моделирования перед методами числен- 
ного‘ интегрирования, предположим, что для вычисления 
г-кратного интеграла / методами численного интегриро- 
вания требуется взять в области В т’ узлов и что для 
расчета одного значения подынтегральной функции 2 (х) 
необходимо $г операций. Тогда для вычисления / мето- 


дами численного интегрирования потребуется $гт" опера-. 


ЦИЙ. При применении метода статистического моделиро- 


вания для вычисления / необходимо 5гп операций, где 


п — число опытов. Следовательно, относительный выигрыш 
машинного- времени при применении метода статистиче- 
ского моделирования характеризуется отношением т’/п. 
Если считать минимальным необходимым числом. узлов 


по каждой координатной оси т=5, то при п = 100 метод. 


статистического моделирования даст существенную эконо- 
мию машинного времени уже при г=4--5. При увели- 
чении кратности интеграла г преимущество метода ста- 


тистического моделирования растет как показательная 


и 


-- 


‚авы | . 


я, 

ЛИЛЯ у 

ИИ ба УИ 
ито чз 


Глава 9 
` \:- 


_ СТАТИСТИЧЕСКИЕ МОДЕЛИ, = 


- 


% 
$ 1. Математические модели 


1.1. Модели теоретические и статистические. Для при- 

менения математических методов необходимо прежде всего 
установить соотношения между величинами, характери- 
зующими рассматриваемые явления. Каждое такое соот- 
ношение представляет собой математическую модель дан- 
ного явления. Так, например, законы. Ньютона в меха- 
нике и вся построенная на них классическая механика 
представляют собой совокупность моделей механических. 
‚явлений. Уравнения Максвелла в физике представляют 
собой математическую модель электродинамических яв- 
лений. 
_ В теории управления изучаются различные ‘системы, 
поведение которых описывается некоторой совокупностью 
_ величин, причем одни величины носят характер внешних 
воздействий на систему и называются ее входными сиг- 
налами, а другие характеризуют работу системы, опре- 
деляют ее воздействие на другие системы и называются 
ее. выходными сигналами. Зависимость выходных сигна- 
лов системы от ее входных сигналов, используемая для 
изучения системы и ее взаимодействия. с другими систе-. 
мами, представляет собой. СНУ модель. этой 
системы. 

Во многих случаях математическую модель можно 
построить чисто математическим путем на основе извест- 
ных законов механики, физики и других дисциплин, 
пользующихся количественными соотношениями. Так, 
например, различные модели управляемого летательного. 

аппарата можно построить математически, пользуясь за- 
конами механики. 

‘Однако существуют и такие системы, для которых 
принципиально невозможно построить модели чисто мате- 
матическим путем. Пэоимеэами таких систем могут слу-. 
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жить человек или коллектив людей, выполняющий опре- 
деленные функции, завод, отрасль промышленности, эко- 
номика и т. п. Современный научно-технический прогресс 
и все расширяющееся применение математических мето- 
дов требуют создания математических моделей и для. 
таких систем. Они необходимы, в частности, для реше- 
ния современных задач управления. 

Для построения моделей сложных систем приходится 
прибегать к’ экспериментальному исследованию самих 
систем или входящих в них подсистем и строить соот- 
ветствующие модели путем статистической обработки по- 
лученных данных. 

Модели, полученные на основе а обра- 
ботки результатов экспериментального исследования функ- 
ционирования систем, будем называть статистическими 
моделями. Методы построения статистических моделей“ 


_ составляют важный раздел совраменной. математической 


статистики. 

Построение математической модели реальной системы 
или пронесса часто называется 'идентификацией этой 
системы или процесса. Следует заметить, что это назва- 
ние не точно отражает существо данной задачи, так как 
никакая модель не может быть тождественна соответст- 
вующему реальному явлению *). 

1.2. Модели детерминированные и стохастические. Из 
сказанного следует, что задача построения модели явле- 
ния, процесса или системы состоит в нахождении соот-. 
‘ношений между величинами, описывающими течение дан- 
_ ного явления, процесса или функционирование данной 

‘системы. ‘Если эти соотношения. позволяют по данным 
значениям одних величин однозначно определить значе- 
ния других, то описываемая ими _ модель называется 
детерминированной. Если же эти соотношения по данным 
значениям одних величин определяют другие как слу- 
чайные величины, то описываемая ими модель называется 
стохастической. 

Как теоретические модели, выводимые математически 
из первичных законов, так и статистические модели, по- 
лучаемые на основе статистической обработки результа- 
тов наблюдений, могут быть детерминированными или 
’стохастическими. Так, например, зависимость У =ф(Х), 


*). Английские слова «еп Фу» и а означают «тож- 
_ дество» и ета | 
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устанавливаемая по результатам наблюдений случайных. 
величин Х и У методом наименьших квадратов, пред- 
ставляет собой детерминированную модель. Если же. 
учесть наблюдаемые ‘в результате опытов случайные от- 
клонения экспериментальных точек от кривой и= ф (х) 
и написать зависимость У от Х в виде ^ 


У=Ф(Х) +2, 


где (—некоторая случайная величина, то получится 
стохастическая модель. При этом величины Х иУ могут 
быть как скалярными, так и векторными. Функция ф (х) 
может быть как линейной комбинацией данных функций, 
‘так и данной нелинейной функцией, параметры которой 
определяются методом наименьших квадратов. Число и вид 
функций в линейной комбинации, а также вид нелиней- 
ной функции ф(х) и число определяющих ее параметров 
могут быть любыми. 

Приведенный простой пример показывает, что одному 
и тому же явлению могут соответствовать различные 
модели. Проблема построения модели системы включает 
и выбор подходящей формы этой модели, а также разум- 
ной степени ее сложности, совместимых с имеющимися 
экспериментальными данными. | 

1.3. Роль математических моделей. Математические 
модели являются мощным инструментом познания реаль- 
ного мира. Они применяются для различных расчетов, 
проектирования систем, управления процессами и систе- 
мами, прогнозирования разных явлений и т. д. Матема- 
тически модели дают возможность открывать и предска- 
зывать новые научные факты и закономерности. 

Применение математических моделей в основном сво- 
дится к определению значений некоторых величин по 
известным значениям других величин. Значения послед- 
них могут быть или получены в результате наблюдений, 
или задаваться из каких-либо соображений. Так, напри- 
мер, измеряя какую-либо величину, мы наблюдаем только 
результаты измерений, по которым требуется определить 
значение самой измеряемой величины: При прогнозиро- 
вании погоды по измеренным значениям параметров со- 
стояния атмосферы в одних точках пространства в один 
период времени предсказываются их значения в других 
точках и в другой период времени. При применении мате- 
матических методов в медицинской практике по резуль- 
татам обследования папиента должна решаться задача 
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распознавания болезни, которой ОН страдает, и опреде- 


ления соответствующих методов лечения. Аналогичные 
задачи распознавания возникают во многих других обла- 
стях. 

Современное состояние и развитие вычислительной 
техники дают возможность автоматизировать некоторые _ 
виды умственной деятельности человека, т. е. приступить 
к решению проблемы. создания искусственного интеллекта. 
Это особенно ‘важно для разработки автоматических 


‚ устройств — роботов —для выполнения работ в таких усло- 
виях, в которых человек не может существовать. Такие 
роботы должны согласовывать свои действия с изменяю- 


щимися условиями и вновь возникающими обстоятель- 
ствами и, следовательно, распознавать ситуации и в соот- 
ветствии с этим принимать решения. Не менее важны 
для современного научно-технического -прогресса задачи 
создания автоматических систем,‘ читающих и анализирую- 
щих рукописные тексты, а также систем, анализирующих 
человеческую речь. Такие системы должны распознавать 


рукописные ‘буквы, цифры и другие изображения или 


соответственно звуки человеческой речи (фонемы) и опре- 
делять их смысловое содержание. Объединив алгоритм. 
распознавания человеческой речи с алгоритмами перевода 
с одного языка на другой, можно будет создавать авто- 
матические системы для синхронного перевода. речи на 
несколько языков. Наконец, при использовании ЭВМ для 
обучения людей также необходимы алгоритмы автомати- 
ческого распознавания характера ошибок, допускаемых 


| ‘обучаемыми, и определения уровня их знаний. Человек 


в своей практической деятельности повседневно решает 
различные задачи распознавания. Для создания автома- 
тических распознающих систем необходимы соответствую- 
щие модели процессов распознавания. 

Все расширяющееся проникновение математических 
методов в сферу управления ставит задачу создания мо- 


делей и для процессов принятия решений. Руководитель 


любой организации по полученной информации (которую 
всегда можно представить в виде совокупности значений 


некоторых величин) должен принять решение р 


тоже можно представить в виде совокупности значений- 
определенных величин). Современная вычислительная тех- 
ника может помогать руководителям принимать наиболее. 


научно обоснованные решения и Тем самым повышать 


эффективность управления, но для этого необходимы соот- 
1 - 


ветствующие модели процессов ‘обоснования и принятия 
‚ решений. 

Перейдем теперь к изучению методов построения ста- 
тистических моделей. При этом мы ограничимся только 
такими моделями, которые описываются соотношениями 
между конечномерными векторами. К таким моделям от- 
носятся, в частности, все дискретные системы, входные 
и выходные сигналы которых ‘действуют только в опре- 


деленные дискретные моменты времени. Для построения. 


более сложных статистических моделей, в частности мо- 


делей, входные и выходные сигналы которых представ-. 


ляют` собой функции непрерывно изменяющихся аргу- 
ментов, необходимо применение теории случайных функ- 
ций — раздела теории вероятностей, выходящего за рамки 
этой книги *). 


$2. Регрессионные модели 


2.1. Регрессия как оценка зависимости случайной вели- 
чины от другой величины. Рассмотрим задачу определе- 


ния значения случайной величины по данным значениям о 


другой величины. Пусть У— случайная величина, значе- 
ния которой требуется определить, х— известная вели- 
чина, которая может представлять собой наблюденное 
значение некоторой случайной величины Х или заданное 
значение некоторой переменной. Как х, так.и У могут 
быть скалярными или векторными величинами. Распре-_ 
` деление случайной величины У в общем случае зависит. 
а 
С точки зрения математической статистики поставлен- 
ная задача представляет собой задачу оценивания зна- 
чения ненаблюдаемой случайной величины У по данному 
значению величины х (в частности, по полученному в ре- 
зультате наблюдения значению х случайной величины Х). 


Пусть и = у (х) — оценка значения величины У при 


| данном х. Ошибка этой оценки у—У представляет собой 
случайную величину. В соответствии с п. 6.2.1 точность 


оценки у целесообразно характеризовать средним квад- 
ратом ошибки при данном значении х: 


ехеЕМИ-УРЫ. 


м Эти вопросы будут рассмотрены в книге «Случайные функции», 
которую ее. готовит к печати. 


\ 
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Рассмотрим сначала случай скалярной. величины У. 
Из формулы (3.31) следует, что средний квадрат ошибки 


оценки у будет минимальным, если принять за и мате- 
матическое ожидание случайной величины У при данном х: 


у(х)=т, (х) =М[У |5]. (2) 


Эта формула определяет НЫ оценку величины У 
при данном х. 
В Е векторной величины: У =[У:... УТ 


в®-мП9-УР = Хм, Ур. _®) 


Отсюда видно, что величина 2(х) минимальна тогда и 
только Тогда, когда каждое слагаемое в (3) имеет мини- 
мальное значение. Следовательно, формула (2) определяет 
наилучшую с точки зрения минимума величины г оценку 
при каждом х и для векторной случайной величины У. 


Зависимость оценки у величины У от х, определяемая 
формулой (2), представляет собой регрессию у НА -& 
(п. 4.3.2). Таким образом, оптимальной оценкой зависи- 
мости У от х служит регрессия У на х. В частности, 
оптимальным прогнозом величины У по данному значе- 
нию х будет прогноз по регрессии. 

Модель, определяемая регрессией У нах, называется 
регрессионной моделью. Регрессионные модели широко 
применяются для описания функционирования различных 
систем. 

2.2. Средние квадратические регрессии различных клас- 
сов. Оценивание по регрессии возможно только в том 
случае, когда `регрессия известна. Если регрессия не 
известна или определяемая ею зависимость слишком сложна 
для практической реализации, то приходится искать 
оценку зависимости У от х в некотором ограниченном 
классе функций. При этом уже не удается обеспечить 
минимум среднего квадрата ошибки #(х) при каждом 
значении х. Поэтому обычно ищут оценку зависимости У 
от х в данном классе функций из условия минимума 
среднего значения величины &(х) в интересующей нас 
области изменения х. 

Предположим сначала, что х представляет собой зна- 
чение некоторой случайной величины Х. Тогда естест- 
венно рассматривать средний квадрат ошибки как функ- 
цию случайной величины А и за ее среднее значение. 
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в области изменения х принять ее математическое ожи- 
дание. Пусть и(х)— искомая оценка зависимости У отх. 


в некотором классе функций Ч. Рассматривая эту оценку _ . 


как функцию у(Х) случайной величины, Х, получим на. 
основании (1) значение среднего квадрата ошибки оценки 
как функцию случайной величины Х: | 


: (Х) =М[у(Х)—УЁ[Х]. 


Взяв математическое ожидание этой величины и поль- 
зуясь формулой полного математического ожидания. (4. 34), 
получим среднее значение величины &: 


= М |9 (Х) —УР. 4). 


Предположим теперь, что х— неслучайная перемен- 
ная, изменяющаяся в некоторой области В, и за среднее 
значение величины (9) принимается 


= \ р) = бах, 
В 


где р (х) некоторая функция веса, обладающая свойст- 
вом (как и всякая функция веса при определении взве- 
шенного среднего) 


ро ах=1. 
В 


В частном случае, когда всем значениям х в области В 
придается один и тот же вес, р(х) = 1/9 (В), где (В) — 
объем области В. Очевидно, что этот случай сводится 
к предыдущему, если считать х значением случайной. 
величины Х, плотность которой равна р (х) прихЕВи0 
‚при хЕВ. Следовательно, формулу (4) можно считать 
общей формулой для определения среднего значения вели- 
чины & в интересующей нас области изменения х. 

_ Таким образом, наилучшей оценкой зависимости У 
от х в заданном классе функций ЧФ является функ- 


ЦИЯ и (х), реализующая минимум безусловного матема- 
тического ожидания квадрата модуля ошибки. 


` Оценка и(Х) случайной величины У, принадлежащая 
определенному классу функций Т,, для которой математи- 
ческое ожидание квадрата модуля ошибки (средний квад- 
рат ошибки) достигает ‘минимума, называется средней - 
квадратической регрессией У на х класса Ч. В частности, 
линейная и. реализующая минимум среднего квад- 
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рата ошибки = в классе линейных функций, называется 
‘линейной средней квадратической регрессией У на х. 

2.3. Оптимальные оценки. Покажем, что средняя ‘квад- 
ратическая регрессия класса представляет собой наи- 
‘лучшее среднее квадратическое приближение регрессии 
т, (х) = М [У |х] в этом классе функций Ч. 

}> Заметим, что. на основании (3.31) 


м 19-Х] = х МП 5 У, = 


= Ум", (Хх) — У, Х1--19,(Х) — —т, (Х) р} = 
"ми, (ХУ УРХ] |9 (ХХ) — т, (Х) В. 


Взяв математическое ожидание этой случайной величины, 


на основании формулы полного математического ожида- 


_ ния (4.34) получаем 


в=М|у(Х)—У[=М|т, (О-УРЕМ п, их. 
- (5) 


Так как. первое: слагаемое в правой части не зависит от 


функции и(Х), то = достигает минимума тогда и только — 


тогда, когда. минимально второе слатаемое. < 


Оценку у (х) регрессии т, (х)=М [У | х]|, минимизирую- 
щую средний квадрат. ошибки в в классе функций. У, 
‘будем называть оптимальной оценкой в классе У. _ 

Из (5) видно, что если регрессия т, (х) содержится 
в классе функций ЧФ, в котором ищется оптимальная 
оценка, в частности, если Ф совпадает с множеством всех 
функщий переменной х, то оптимальной- оценкой регрес- 
сии служит сама регрессия. з 

_ Регрессия является единственной оценкой, реализую- 
щей минимум условного математического ожидания квад- 
рата модуля ошибки при каждом данном значении х. 

2.4. Необходимое и достаточное условие оптимально- 


сти. Покажем, что и(х) представляет собой оптимальную 


оценку в классе р Ф, если для любой функции. 


Фет | 
Му(Х)* [у (Х)—У] = М [у(Х)—Уф(Х)*=0*). (6) 


- *) Как всегда, звездочка означает транспонирование матрицы 


_ с заменой всех ее элементов соответствующими сопряженными `чис- 


лами. Первое равенство (6) верно в силу соотношения аб = фа, 


справедливого для любых матриц-столбцов (векторов) а и 6, 


— 
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№ Пусть \ф(х)— произвольная функция класса у, 
_и(х)— оптимальная оценка У в классе Ч. Если принять 
за оценку У функцию ф(^), то будем иметь 


= М|ф(Х)—УР=М |9 (Х)—У-ЕФ(Х) (ХР = 

= М1 9 (Х)—УРМ (ФЕ 
= + М [$ (Х)* — (ХУ (Х)—У]1-+ 

+М [у (Х)*—У*И(Х) —у9(Х)]. = 9) 

Если условие (6) выполнено для любой функции ф (х) ЕТ, 
то оно выполнено и для ф (х) =и(х). В этом случае 

МО" 6, 
м9 (ХУ 


=М [$ (Х)* —и(Х)* [9 (Х) = 0 


и (7). принимает ВИД . ‚ 
.= М1 (УР М9 (Х-УР+М-—9(. 


Отсюда ВИДНО, ЧТО & ‚достигает минимума тогда. и только 


тогда, когда фр (х) = и(х). Таким образом, условие (6). 


достаточно для оптимальности оценки и(х). 

Докажем, что если класс функций Ф представляет 
собой линейное пространство *), то условие (6) необходимо 
для оптимальности оценки ух ЕТ. 


ством, если оно удовлетворяет условиям: 
1) для любых х, у@[ одвозначно определен элемент 21, на- 
зываемый ‘ суммой х и у, 2г=х- и; 


2) для любого хЕ[ и числа @ однозначно определен элемент . 


иЕТ,, называемый произведением х на число %, и==ах; 

3) в Ё АЕ нулевой элемент РИ - что х0=х, 0. ‚= 0 
для всех хЕГ; 

=! операции сложения и умножения на, число обладают свой- 
ствами: 


р у = я х (коммутативнссть); 
(ху-г=х-Б (у- 2), 
а (Вх) — (ав) х ЕС 
ИДЕЕ И (дистрибутивность). 


(а-- В х=ах- Вх 

В зависимости от того, определена операция ‚умножения на число 
для всех комплексных чисел или только для действительных, [ на- 
зывается комплексным линейным пространством или, соответственно, 
| действительным линейным пространством [42]. | 
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*) Множество [. называется линейным или векторным простран- | 


=: 


_ № релоложих что существует. ‘функция 1 де 
для которой 


Мф, (Х)* [9 =" = 20, 
: определим функцию 


$96 — Мет: 


% 


Так как Ф — линейное пространство, то 1 (х) Е №. Вычис- 
` лим средний квадрат ошибки г для оценки ых В дан- 
ном случае 


М! (Х)—9 те а: 
М [+ (Х)*— уху (Х)—У] = | 
[2 
_ = тео М% О" —У|--— ево, 
М [9 (ХУ И (фи = 


"И —9(Х —_ 
= М №" = СОР. 
Подставив эти выражения в (7), получим 
= ее аа й 2 _ 
"= М1 (Х)—УР=М [9 (Х)-—У ие: 


Отсюда следует, ‘что оценка р (х) лучше оценки и (х). 
Таким образом, если существует функция ф» (х) Е Ф, для 


которой. условие (6) не выполнено, то оценка и(х) не 
может быть оптимальной. Следовательно, выполнение 
условия (6) для всех (ХЕХ. необходимо. 

2.5. Линейные регрессионные модели. Найдем опти- 


мальную оценку у(х) величины У в классе линейных 
функций, т. е. линейную среднюю квадратическую рег- 
‘рессию У на Х. 


Положив в (6) и(Х) =сХ, ф(Х)=АХ, получим 

и М (8Х—У) Х* =0, 

_ или, в силу того, что МХХ*=Г.,: МКХ*-= Г, ($ 3.3), 
(ег, —Г,,) *=0. | (8) 


Это равенство. справедливо для любой матрицы / огда 
и только тогда, когда 


| Т,=Г. о 
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Действительно, если какие-нибудь элементы матрицы © = 
п х отличны от нуля, то, ‚положив й =@, получим - 
м (8Г,— Г») А* = М аа" 520, если хотя бы один элемент 
матрицы & отличен от нуля \): 

Так как класс линейных функций представляет собой 
линейное пространство, то (8), а следовательно и (9), 
необходимо и достаточно для оптимальности оценки и (х) = 
—= 0х. Таким образом, матрица &, соответствующая опти- 
`мальной линейной оценке, определяется уравнением (9). 
Заметим, что уравнение (9) можно представить в виде 


МОРЖ, (10) 


где У=5Х. Из (8) следует также, что для любого раз- 
биения вектора Х на блоки, ХТ = ГХГ, ..., ХЛ], оптималь- 


ная оценка У удовлетворяет также условиям 
М (7—У) Хх: =0 ^ =Ь..., М). (11) 


Действительно, разбив матрицу й на соответствующие 
блоки й=|И,...Ал| и положив И; =0 при 152, выведем 
(11) из (8) совершенно так же, ‘как было получено (9). 

Оценка и (х) = &х, определяемая уравнением (9), в об-_ 
щем случае будет смещенной, Ми(Х)=М (8Х›-- МУ. Для 
устранения. смещения достаточно добавить к вх соответ: 
ствующее постоянное слагаемое. 

№» Положив в (6) у(Х) =&Х +, ах +, в силу 
соотношений 


Г=К, Их, о Г К-т, (12) 
получаем 


ыы * 
иАак,— КИ (ет, ЙА: а) (т‚ й* - 5*)] = 0. (13) 
Эго условие должно выполняться для любых матрицы й 
и вектора 65. Положив, в частности, 8 = — йт,, будем. 
иметь К 


и (@^,—К,,) й*=0 


*) След матрицы ©” равен сумме квадратов модулей всех эле- 
ментов матрицы ©: | 


т. т о т 
на = ( > еыйы = ХУ бр. 
а= 


р, 9=1 


_- 
— 
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Отсюда совершенно так же, как в предыдущем случае, 
‚ получаем уравнение для матрицы 2: 


При этом условие (13) будет выполняться для любых 
матрицы Й и вектора В тогда и только тогда, когда 


а=т,— вт... : (15) 


%* 


_Таким образом, оптимальная линейная оценка со сдвигом. 


у=5х--а (линейная средняя квадратическая регрессия) 
определяется уравнением (14) и формулой (15), которые 
представляют собой необходимые "и достаточные условия 
оптимальности. < 

Если регрессия У на Х линейна, то на основании 


сделанного‘ выше замечания функция 1 (х) = ох-ра, где © 


- и а определяется уравнением (14) и формулой (15), сов- 


падает с регрессией.. 

Заметим, что линейную функцию со сдвигом ах--а 
можно рассматривать как частный случай линейной функ-` 
ции бх. Действительно, добавив к вектору х еще одну 


‘координату, равную Е ‘положив х ЕН 17, и вводя 
_ матрицу 5’ = [в а], получим ох фа=в’х’. Соответственно 
уравнение (14) и формула (15) получаются из (9) в част- 


ном случае, когда одна из координат вектора х равна 1. 
В частном случае, когда векторы Х и У действительны 
и их совместное распределение нормально, регрессии 


всегда линейны (5 4.4). Поэтому уравнение (14) и фор- 


мула (15) определяют регрессию проекции У нормально 
распределенного случайного вектора-[ХТ УТ] на его 
проекцию Х на дополнительное подпространство. Формула 
(4.55) и уравнение (4.57), определяющие. регрессию одной 
координаты нормально распределенного случайного век- 
тора на все`остальные его координаты, вытекают из полу- 


чённых результатов как частные случаи. 


Пример 1. Пусть ](х, и) — совместная плотность случайных 
векторов Х и У, т,, К» — математическое ожидание и ковариацион- 
ная матрица вектора Х, причем определитель | К, | отличен от нуля. 


В этом случае определитель матрицы Г; =К»-- тхтх строго положи- 
телен и уравнение (9) имеет единственное решение 


«© © |) 


== тит = } тр’ Ме, дакаи= | ту 0) ТГ" | дах, 


— < -ь -х 
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где [1 (х) — плотность вектора Х. Эта формула вместе с приближенной 
формулой ту (х) = &х дает статистическую линеаризацию регрессии 
ту (х) по Бутону *). к :- 
_ Пример 2. В условиях примера 1 уравнение (14) имеет един- 
ственное решение з 


|.) 


в=КхКЕ = {  ф—т,) (#— тут Кат, ау 


=} м-та тут Кя В 6 ах. 


© 


`Эта формула вместе с приближенной формулой т, (х) = ту-|- 8 (х— ту) 


дает статистическую линеаризацию регрессии т, (х) по Казакову. _ 
Таким образом, в основе статистической линеаризации лежат линей- 
ные регрессионные модели. 


_ 2.6. Решение уравнений, определяющих линейную ре- 
грессию. ‘Для решения уравнения (14) можно использо- 


вать различные вычислительные методы и соответствую- 


щие машинные программы [1, 94, 107]. Одним из наиболее 
удобных методов решения уравнения (14) является метод, 
основанный на каноническом разложении случайного век- 
тора Х. Пусть — 


Х=и, + УУх, 22-98) 
и р=1 т 


` $ и \ Е 
— какое-нибудь каноническое разложение вектора Х, 
›....[,„ векторы, удовлетворяющие вместес координат- 
ными векторами х,, ..., х, условию биортогональности 
Пх. =, =6. ( =1, г). При этом в силу (3.71) 
Р-р пора Ф, _9= ть р у (©. 
_ ОЭ—Йю == 8. и: 
и (3.69) х„=рЬК, и У,=р Х*= ХТ, где Р,—дис- 
персия величины И,. | 
_}№ Будем искать решение уравнения (14) в виде 


Е— № сыр. = (17) 


*) Бутон [12] и Казаков [31] независимо друга от друга разра- 


_ботали метод статистической линеаризации для приближенного иссле- 
_ дования точности нелинейных систем. Они рассматривали случай 


скалярных Х и У=Фф(Х) при заданной функции`ф (х). Впоследствни. 


- Соммервил и Атертон `[101], Казаков [32] и другие распространили 


№ 
Хх 
> 
© 
х 


этот метод на векторные Х и У (см. также сбзор [95]. 
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Пя определения неизвестных коэффициентов г ЕН 
подставим рН (17) в (14): 


Е 


Учитывая, что №К,=0О,х» получим о _ 
| | т 
- ВА 
У срО хр = Ко 


р=1 | 
Умножив это уравнение справа на {[.. и заметив, что 
р к = бр, получим | 
| С.В. = Е. 
Отсюда находим 
= Кийь _(РЬ --, 7. 


Подставив это выражение в (17), будем иметь 
. Г 
1 а РЕ 
= УК. 8 
| ©. 
Остается убедиться в том, что определяемая этой форму- 


лой матрица & ЛА уравнению (14). Для этого 
заметим, что в силу (16) 


К,„ = МУ°Х** = р МУ рр: 
Так как У ИХ - Хат; , то 
м М К 
=> КИ = Ук. 


_— То же получается, если (18) умножить справа на К,;: 


г. — 
= х р Корь Ки 


Следовательно, матрица в, определяемая формулой (18), 
удовлетворяет уравнению (14). < 
_ Формула (18) дает решение уравнения (14) как в том 
случае, когда определитель враы отличен от нуля, 
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‘таки в том случае, ‘когда он равен нулю. Во втором 
случае общее решение уравнения (14) получится прибав- 
лением к правой части. формулы (18) произвольной ма- -- 
трицы й, удовлетворяющей уравнению ИК, =0. = 

Ге Для решения уравнения (9) представим его с помо- 
_щью соотношений (12) в виде 


ЕК, К-т о _ 

где т - — 
АЕ т, —0т,. | ‚>. 620} 

Так. как уравнение (9 линейное, то его решение 
‘имеет вид. 

| = -НАсь, в | (21) == 
где 2, и с, —— решения уравнений о 

Е бК«= Ку» Их =тЬ о. (22) —— 


Решение первого из этих уравнений дается формулой (18). 
Чтобы решить второе, ‘представим ковариационную ма- 
трицу К, каноническим. в (3. 75): * 


& = > Врх ХрХр. - = | т ‚ 
Тогда второе уравнение (22) рим вид. 
- Уриват 


Очевидно, что это уравнение имеет решение только в том г 
случае, когда математическое ожидание т, представимо = 
разложением по координатным векторам: - 


т,= Ут) х,= Х (т х, (23) 


А это ‘будет или когда определитель матрицы К, отличен _ 
от нуля, или когда вектор т, принадлежит подпростран- ^ 

ству, на котором сосредоточено распределение центриро- — 
ванного вектора Х*°. Если ни одно из этих условий не г = 
выполнено, то второе уравнение (22) не имеет решения. - 
_ Предположив, что 1, представимо разложением (23), 


—. 


совершенно так же, как и раньше, найдем решение, вто-_ ке 
_ рого’ уравнения (22) в виде _ —. | | Е: 
Г | р . 
|: : же т . : 
5: р% и— : Эт = а 5 Ир ы (24) 
т“ р д 1 Р ы -з ; м 
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Определив. би 81 и подставив выражение (21) в (20), 
найдем А: 


(25) 


Формулы (18), (24), (25) и (21) дают решение не 
ния (9). 

Если ранг о матрицы К. меньше размерности г. век- 
ра Х, то согласно $8 3.4 Хр =... ==Х, =0,: 95: 
...=),=0 и суммирование по р в (16), г), 18), (23). 
И `(24) производится от | до о. | 

Если математическое ожидание т. не может быть 
представлено разложением (23), то уравнение (19) имеет 
решение, для которого ^=0, и, следовательно, &т,, = т,. 
Чтобы получить это решение, положим (в этом случае 
ВЕ И Хр: =... =, =0) 


5 —= 1, — х (Ь та) Хр 


И ‚ определим матрицу- У 


= — Е ь у 


5% 


так, чтобы было. 
йх,=0 ОЕ 
Для этого в силу условия вх. 0, « Достаточно взять 


Фа=— 85° (9=1, ..., Ь): Очевилно, что матрици | 
а однородному уравнению 


ВК, = 


вы убедиться в этом, достаточно воспользоваться кано- 
ническим разложением матрицы К,. Тогда получим 


о 
: йК, =" Руб Вы 0; 
__ = | 


В силу этого матрица о 
| | = ый 

при любой ‘матрице- -столбце и удовлетворяет уравнению 
К 


т.е. уравнению (19) при. ^=0. Остается а ц так, 
‘чтобы было ^=0. Подставив найденное решение а в (20), 
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_ находим :- | ›- 


/ 


^=т,—вт,=т,— вт: —рйт, = т, —вт,— и, 


так как ом Положив м 
будем иметь ^=0. При этом формула  - 


Ев (т, —вт)й с (06) 


определяет решение уравнения (9). В этом можно убе- 

диться и непосредственной подстановкой выражения (26) 

в (9). с учетом первого уравнения (22) и равенств ЙА ‚, = 

== 0, йт.. = 
аа, Детерминированные и стохастические регрессион- 

ные модели. Регрессия т, (х) и ее оптимальная оценка’ 


у (х) представляют собой детерминированные регрессион- 
ные модели. Для получения стохастической регрессион- 
‘ной модели достаточно. представить величину У в виде 


У= т, (х) +2 или У= и (2, где 2 и 7, —некоторые 
| случайные величины. | 

Из (9), (14) и (15) видно, ЧТО для нахождения детерми- 
нированной линейной регрессионной модели достаточно 
знать математические ожидания т,, т, векторов Х и У 
и ковариационные матрицы К„, Кух- “Для нахождения 
стохастической линейной регрессионной модели необхо- 
димо еще знать распределение случайной величины У при 
любом х или, По крайней мере, ее математическое ожи- 
дание т, (х) (регрессию) и ковариационную и К „ (Х) 
(совпадающую с ковариационной матрицей К 2 (%) вели- 
чины Д). 

Более < задача наилучшего приближения регрес- 
сии конечной линейной комбинацией заданных функций _ 
ф;: (Хх), ..., Фми(хХ) сводится к задаче наилучшего линей-_ 
ного приближения регрессии, так как любая линейная 
комбинация функций ф, (х), ..., фл (х) представляет собой 
линейную функцию переменных 2, = ф,(х),..., ам = Фм(х). 


Пример 3. Построить оптимальную полиномиальную регрес- 
сионную модель в случае скалярных Хи. | 
ПолараЯ Ва Е, р ве, 21, ‚гм ‚@ = 


= [а51...бм|, сведем задачу к нахождению линейной модели у = = 22. | 


Уравнение (9) в этом случае принимает вид — 
1 С В. | 
м 
ам @м+л... М 
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Е т а,= МХР—р- Й момент величины :Х, а р = МУХР— (р 1)-й мо- 
ЕЕ мент случайного вектора [Х У]Т, содержащий У в первой степени. 
_ Полученное уравнение определяет полиномиальную среднюю квадра- 
_ _ Тическую. регрессию. У на Х степени №, которая и сут оптималь- 
=. _ ной полиномиальной регрессионной моделью. 

Аналогично строятся оптимальные полиномиальные регрессионные 
Я модели в случае векторных и: 
=: Для решения уравнения, определяющего полиномиальную регрес- 
т: сионную модель, применяются те же вычислительные методы, что и 
аа _лля линейных моделей. В частности,. можно пользоваться канониче- 
_ __  Скими разложениями. В рассмотренном случае скалярной величины Х 
для этого достаточно найти методом $ 3.4 каноническое разложение 
_ случайного-вектора 2 = [1 х.. ХМ. 


$3 Оценивание регрессий Е 
8: 1. ОнЕНИ матрицы коэффициентов линейной регрес- 

сии. Если математические ожидания т», т, и ковариа-, 
ционные матрицы К,, К,„„ не известны, то для нахождения 
линейной. регрессионной "модели приходится оценивать по 
результатам опытов матрицу 5, а в случае стохастической. 
линейной модели и статистические характеристики вели- 
чины` У при каждом ‘данном Хх. 

_ Как всегда в задачах математической статистики, ое 
‚дем считать все величины действительными. 
Предположим, что в результате и независимых опытов 
‚ получены пары значений (х., у:), ..., `(х„, у.) величин 
хи У. Для нахождения линейной оценки ‘регрессии и(х)= 
ее = ох естественно применить метод наименьших квадратов 


(п. |..2.8). Тогда матрица р определится из условня МИНИ- 
ума величины . 


-- — г. ве Фи Яхь |. к а 


_ Это выражение отличается от (4) при у(х)=0х только 
тем, что вместо знака математического ожидания стоит 


знак суммы. Поэтому уравнение для матрицы с получается 
заменой в (9) математических ожиданий соответствующими 


суммами: | 
п в. Е = 
> Ро \ Т 
Ге жхГ == » уг. а) 
| й={ га : : - 
Вводя матрицы 
: = п | п 
ы | > в. т РЕ: 2 | 
Д = р ХьХЬ, В = Ра В: _ (28) 
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_ перепишем (27) в виде бА= В. Это. уравнение имеет един-. ——- 
ственное решение тогда и только тогда, когда матрица А т 
неособенная. Этого всегда можно достичь выбором ху, ... д — 
..., Х„ ИЛИ изменением числа опытов. В этом случае | 
а уравнения (27) дается формулой 


д = ВА-* = ХитА- т 


3.2. Статистические свойства оценки. Вы стати- 
стические свойства ‘найденной- оценки матрицы д. = 
№ Рассмотрим сначала случай, когда х — неслучайная = _ 
переменная. В этом случае 5 представляет собой получен-. 
ную в результате опытов реализацию случайной величины _ 


(= ы а (29) 


УТ 


где У‚, ..., У, случайные значения величины. ‘у при в 
опытах. .Из (29) следует, что 


ме УХ», (хь) 1 АТ. - | (30) 


В частном случае линейной регрессии т, ах а 
мула (30) принимает вследствие (28) вид 


] 


Е =: в Хх ГА- 1—0, | _ ы 


Таким образом, В случае линейной регрессии С представ- 
ляет собой несмещенную оценку матрицы 8. 


Для исследования рассеивания оценки а обозначим 


^^ 


С,,..., С» строки матрицы @ (т — размерность вектора =. =. 
= ХуьятА- : ФУ ге 
те Уз. ‚У,„-— координаты вектора у, ЕН 


Найдем ковариационные и взаимные ковариационные ма- | 
трицы векторов СТ и СТ; = = 


* 2: т - 
Г = МОТ (9 = а ‘хьМУ УГ А-1 = 
=А- > хх МУ У А-1. 
| ‚Ё=] 
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| Так как ‘случайные векторы У иУ; при [5 независимы 
вследствие независимости опытов, то МУ}, Уи =0 при 
[52 К. Величина МУЗУЗГ представляет собой ковариацион- 
ную матрицу К, (®) случайного вектора У при д=Х,. 
Поэтому . | 

МУБУ = МУЗ жа () 


Следовательно, . : 


[= Мб'Т(® = А-1 р ХР Е _ 1 

В частном случае, когда ковариационная матрица А 
вектора У не зависит от х, формула (31) в силу (28) 
_ принимает вид ’ : 


Гы=А- ^ (р а=ь ..., т). 9 (32) 


Эта и показывает, что Е ы матрица 
случайного вектора (== Га. ы [> представляет собой 


прямое (кронекеровское) произведение матриц А 
[48, 57]. 
3.3. Оценка ковариационной матрицы наблюдаемой ве- 
личины. Предположим сначала, что регрессия линейна, 
а ковариационная матрица К, величины У не зависит от х. 
№ В этом случае оценку Матрицы К ‚ можно получить, 
взяв соответствующие средние значения квадратов и про- 
‘изведений отклонений наблюдаемых значений координат 
вектора У от найденной оценки регрессии. В связи с этим 
ры статистику 


п 


$= У (у, —б%) (У, —бж). = 89) 


Найдем ее математическое ожидание. Заметив, что на 
основании (27) 


г 
из 
== 


У, — бх,) Г =0, 
перепишем (33) в виде | 

ке р (У, —(х,) УГ. (34)— 
Отсюда находим | : 


М$=М ре У УГ Мб УхУт. (35) 
= | 


— 
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Величина М УкУЕ представляет собой момент второго по-. 
рядка случайного вектора У при х=х,. Применяя для. 
его вычисления формулу (3.37), получаем 


МУьУЕ = Г, (хь) = т, (хь) ту (+) Ку — вхьхА а" К,. 


Следовательно, 
м думтв В жыбат яку ваатчиК, 68 
`Вычислим второе слагаемое в (35). На основании (25) 


Мб > х.УТ = М > УхтА- Хр. 
Отсюда, учитывая, ‘что величины РА, скалярные, 
‚получаем | 
п 
МС У х,УГ = хх А-1х,МУ УГ. 


_ Но в силу независимости У, и У, при 152 

МУ.УГ = МУ, МУТ = вх. хГот 
МУ; = аа Ку. 
Следовательно, | 


п 


МС Ух, -- > А ахьхтат + № хА-ХьК, = 
к=1 а — = 


п " . п 
о т ТА | 
= > ВХкхь А ‘хх 8т-К, р х, А ‘кг 


= Ух х,хГА-1 У хара +К, ь У ГА 
СвАетЬК. {г АА-!, 


Но АА-* представляет собой единичную матрицу, поря- 
док которой равен размерности г вектора х. Поэтому 
К АА- = = И, следовательно, 


Мб х х,У Е = БАТ --ГКу. 
Подставив это выражение и (36) в (35), окончательно 


получаем | 
М5 = (п—г) Ку. 
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о абы 2 р = А < о ЕТ о о ыы Ра А". Зе оО Щл, ЗОБ" < < ЗВЗаань ° ИЗЗЬА я — х. > 
ЗО ре че Вр, С нех ее пе РО. #3 ов ЗакС де а > “= 5 ны ок со ее есвя 
У - ИР а: Е А И аа :. С 4 


- Отсюда видно, что несмещенная оценка  ковариационной 
матрицы К, определяется формулой 
К у (У,—бх,) (У, — бы. 4 (37) 


ПГ ТЕ 


ила вычисления величины $ часто пользуются фор-` 
ей 


$= УУ,УГ—бАбГ, 
—- _К=1 == 
вытекающей из (34) и (29). При этом (37) принимает ВИД 


>—% 


ин 
© 1 А ^ : 
о Кура Х. УГ —бА0! Е 
Заменив в (32) ковариации К. их несмещенными 
оценками из (37), получим несмещенные оценки ковариа- 
ционных матриц [.„ строк ‘матрицы @- 
3.4. Статистические свойства оценок значений рег- 
рессии. Изучим теперь статистические свойства оценки 


регрессии У = Сх при данном х. 

В силу несмещенности оценки С величина У— Сх 
служит. несмещенной оценкой величины вх. Чтобы найти 
ковариационную матрицу К; оценки У, заметим, что 


координаты вектора’ У выражаются через. строки 
С.,..., С» матрицы С формулой Ур= (хх хТОТ. Поль- 
зуясь этим соотношением и формулой (32), находим эле- 
менты матрицы. К;: - - 


= М (хт(Т) в = хТМОр "ух ий. 


д следует, что 
К; =ХТА-1хКу. (39) 


< 
< 


Несмещенная оценка матрицы К; - получается отсюда -за- 


меной матрицы. К, ее несмещенной оценкой из (37). 
3.5. Оценивание нелинейной регрессии. Если регрес- 
сия нелинейна и ковариационная матрица величины У 
зависит от х, то оценку регрессии т,(х) и ковариа- 
ционной матрицы К. (х) можно получить только в том 
случае, когда при каждом значении х величина У наблю- 
дается многократно, т.е. х,,..., х, распадаются на ` 
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группы одинаковых значений *). Предположим, что п; 
из величин х,,..., Хх, равны х(), п, равны х®, и т. д., 
пм равны х“^, п-... ИП. Значения величины У" 
при х= ХР обозначим через У” (Е=1,..., п, р=1,... М). 
Тогда ‘на основании формул 6 34) и (6. 37) несмещенные 
оценки величин т,(х) и К,(х) при х=х@,..., д“ 
определяются формулами | 


пр 
М иг) =У = —= 1 —». у», 


ПР 
о - 
аи 


= 


Статистические характеристики этих оценок и довери- 
тельные области в случае нормального распределения У 
определяются по формулам $ 6.5. 

3.6. Случай линейной регрессии и нормального рас-. 
пределения. Рассмотрим подробнее частный случай, когда. 
величина У имеет нормальное распределение, ее регрессия 
на х линейна, а ковариационная матрица К, не зависит отх. 

> В этом случае совместная плотность = 


величин У., ..., У, определяется рн лой й 
(уг, ..., и — 
] Е | п 
ехр | =) и —8%,) Ку (у, — гео. 


— Убит к" | х а 
Но. 
> (ь акт К; у‘ (у, —ах,) =. - 


=иК; 1 У (у, — вх, („— -вх,)Т. 


*) ЛЕНЫ величин у (х) и Ку (х) можно найти. методом наи- 
меньших квадратов при однократном наблюдении У при каждом из 
значений х|,..., Хх, величины х, но только в классе достаточно 
простых функций, число неизвестных параметров в которых значи- 

тельно меньше числа опытов п. 


-: | Не 


. Ри ы | ‚ 


Сумма в этой формуле выражается через величины та И 5. 
Действительно, 


- р ыы вх (и, — ==)" 


т У 9% +8—9 ей 

> (= — — хьхй (в—в)т-- 2 (5 —9) х» (1 —4) + ых 
-- 2 ь —6х,) 1 [@- -в)т- р (ук — Вх) (у,— 
Отсюда, ‘принимая во 


_ (27) и (28) 


У 
= 


РР 
в — 8%») ХЕ =0, 


ву 
внимание, что на основании 


п п 

Л (ук—ах,)Т=0, ХЕХЕ = А 
к=1 . к= 1 р 
получаем 


р (и„— —вх,) (и„— — 8%) = т = 


(8—2) А во (у — вх») (ук—вхь)Т 
А и = Ав—0т+ 
| Следовательно, г 
ре (9 —@х»)Т Ку" (у, —&х,) = 
ы И 


м РА И 


+ = 
4 
(Иль +: Ур) УВК” 


Хер {зи А—в)"- ти Ку. (40) 


` р ^ | | 
Отсюда следует, что случайные величины С и $ незави- 
симы и образуют достаточную статистику, причем Ц 
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распределена нормально, а 5 имеет распределение 
Уишарта ,„_„+, „ (5). Уменьшение числа степеней сво- 
боды 5 от п—1 до п—г по сравнению с ов б 6.5 


объясняется тем, что векторы У,—х, (Ё=1,..., ‚п) свя- 
заны г линейными зависимостями 


> бирж (р=1,..., 7), 


вытекающими из (27)*). Из (40), так же как в при- 
мере 7.6, вытекает, что оценками максимума--правдопо- 


добия параметров & и К, служат величины Си б/и=. 


к (п—г)/п. < 
3. 7. Выбор значений независимой переменной. Если 
значения х., ..., Х, величины х, при которых наблю- 


дается величина У, “можно выбирать произвольно, то 
вычисление оценки С можно упростить, выбрав Жо чаьех. 
так, чтобы матрица А была диагональной. Тогда урав- 
‘нение (27) распадается на тг независимых уравнений, 
определяющих элементы матрицы С по отдельности. _ 
Чтобы найти векторы х.,..., Хх, с диагональной мат- 


рицей А, возьмем произвольные векторы ИИ 
обозначим через и, п-мерный вектор, образованный р- Ми 
‚координатами векторов х1, ..., Хи: 

и = [Жо и жа (р=1, оу Г). 


Тогда можно будет рассматривать элементы матрицы 4 
как скалярные произведения соответствующих векторов 
И.И Щ. Применив к векторам 1, ..., и; обычный прием 
ортогонализации, заменим их ортогональными векторами 
и, :... И,. Обозначив через х, вектор, образованный 
к-ми координатами векторов и, ...,и, (Е=1,..., п), 
получим векторы х.,..., х, с диагональной матрицей ДА. 
Само собой разумеется, что исходные векторы Хх, ..., хи 
следует выбирать так, чтобы векторы х,,...,х, были 
распределены приблизительно равномерно в интересую- 
щей нас области значений х. 

3.8. Доверительные области для регрессии: Осталось 


найти доверительные области для & и К,. = 

ы В частном я $. когда г=|1, х=1, векторы 
У: — бхь=У,- У, У = (1/п) к, Связаны одним соотношением 
У,-Ю=0. | 
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> Для определения доверительной области для регрес- 
сии у= ох при данном значении х воспользуемся третьим 
методом п. 6.2.4. Так же как в примерах 5.15 и 5. ы 
убеждаемся в том, что случайная величина 


В и (р урб- :(— -9) 


имеет Р-распределение {[„.„-,-ш.: (|), не зависящее от 
неизвестного параметра 5. Поэтому величину ЁР можно 
принять за функцию ф (У, 5, &) п. 6.2.4. Тогда довери- 
тельная область для значения и == ох регрессии при данном 
х определится неравенством 


^ ^- ТА -°- я 
ь (РИ (41) 


где „— верхняя 100 (1—<)-процентная точка Р-распре- 
деления [м,„-,‚-ш+1([) (значение |, РЯ котором функ- 
ция распределения равна 0). 

В частном случае скалярной величины У распреде- 


ление [у, „- (В величины РЁ дает для величины Т = -ИЁ 
плотность 2$,_,(Г). Доверительная область (41) для 
у=х в этом случае представляет собой ‘интервал 


Е АТА-Ьх < ЗУ ИРА Ее 


где р, определяется уравнением 5, _ (и) =Р(| т] < м=а 
(таблица 3). < 

Доверительная область для матрицы 8 в “случае век- 
торной величины У определяется сложно, и удобных 
для практического ‘применения результатов при этом. 
получить не удается. Путь решения этой задачи будет 
показан в $ 4. | 
° > В частном случае скалярной величины т распре- 
деление Уишарта величины 5 сводится к 7?-распреде- 
лению`с п—г степенями свободы величины 50, : А так 


как независимая от $ величина (@—2) А (@— "О, на 
основании результатов примера 5.24 имеет у? -распреде- 
ление с г степенями свободы, то величина 


2 И (@— 5) А(б— в)Т/г. 
Е | -—- 9/И—Г 


_ имеет Р-распределение [,. „-,(Р). Следовательно, довери- 
тельная область для матрицы-строки & определяется 


864 


`- 


- или 


неравенством 


(6— ВА@—0"< в г (42) 
где Е — верхняя 109 (1 —в)- процентная точка Р-распре- _ 
деления 1 п- =, ([). < 

В случае векторной величины У` неравенство (42) 
определяет доверительные области для строк матрицы & 
по отдельности. | 

3.9. Оценивание линейной р есин со сдвигом. 
В задачах практики часто приходится НазодиВ: линей- 
‘ную оценку регрессии со сдвигом. 

№ В случае линейной оценки регрессии со сдвигом 
первая координата вектора х равна |. в соответствии. 


с замечанием п. 2.2.5. Заменив в этом случае в, их 


соответственно блочными матрицами С 8], [ав] и.[1 хр, 
напишем уравнение (27) в ‚виде ь 


п а Нео -: 


по Ул = 
^^ р=1 в 
81, == |[> р м — 


—- 


п п с: 
м Е № рь. ч Т % 1 
- г 18, ый = 2 уь. 


| ПодетаВИВ это выражение во второе уравненме, приве- 
дем его к виду - 


: = я 
о <, т ар ть ЗИ о 
& (5 ХкХв — ‚т )- р Увхь — пух", 


а-я" Хе Я («—9". (43) 


> : Г 


Таким образом, в этом случае можно представить опти- 
мальную линейную оценку регрессии в виде 
у(®) =у+&(—»).,. 

где 2 определяется уравнением (43). Это дает возмож- 

ность уменьшить на | размерность матрины коэффици- 

_ентов и число столбцов матрицы в правой части по 

сравнению с (27): | ое 
Доверительная область (41) для значения регрессии 


а ох=иу при данном х преобразуется в этом случае 
к виду — - | 


_(7+6(—Х—и9)75-1 (7+6 ——) < 
1 не , > | 
| <Ы ыы [++е—тА 2#—) 
где 
А’ —= Хы (и —9г. 
| Доверительная область (42) для матрицы-строки [а 5] 
в случае скалярной величины У имеет вид 


п(У—а— 2+ (6-0 А’ (бу <ь 


ПГ” 


При этом следует помнить, что векторы х,,...,х, и 
х в этом случае имеют размерность г—1. «4 


Чтобы получить решение уравнения (43) в удобной для вычис- 


лений форме, обозначим через 0, и о, диагональные матрицы, эле- 
ментами которых служат соответственно выборочные средние квадра- 
тические отклонения координат векторов'У и х, через В, и Вх 
выборочные корреляционную матрицу вектора. х и взаимную корре- 
ляционную матрицу векторов У и х*). Тогда можем написать 


2 п 
А’ = ет (хк—х) (хех тТ — (п — 1) 0.Вх0х, 
К =1 $ 
(44) 


Е 
> Чи &— ХТ =(п—10,Вхбь, 
р =!| 


‘и уравнение (43) примет вид 

Ре. ‚  В90.Кх=0буКух. 
*) Выборочные статистические характеристики, очевидно, могут 
_быть вычислены и`в том случае, когда наблюдаемые величины не 
случайны. 
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Решая это уравнение, получим | 
&=0 об КФ, — _ (45) 
Очевидно, что строки матрицы в определяются независимо одна 
от другой вследствие того, что уравнение (43) (как и (27)) распадается 
на независимые уравнения такого же вида, каждое из’ которых 
определяет соответствующую строку матрицы 4. Вследствие этого 
регрессию можно оценивать для каждой координаты вектора У. 
отдельно. Этим обычно пользуются при вычислениях. 
В случае скалярной, величины У (или одной координаты У 
интересующего нас случайного вектора) для вычисления реализации 


$ статистики $ удобно применить следующий прием. Так же как. 
при переходе от формулы (37) к (38), получаем 


5= У [&—иу—а (хь— = р к— У)? —ЕА’ ЕТ. 


Нодставив сюда выражения А’ис из (44) и .(45) и учитывая, что 
Ви = ху, находим 


з 


$= У (ик—)—м—ПбуАу„ А; Вху, 
=] 
или, полагая 


п 
= У (ии 
Е=1 


* ` ‘ 2х9 й 
и принимая во внимание, что (п—1) оу=$’, 


5=5'(1— Кузя Вхи). (46) 
Формула (37) дает несмещенную оценку дисперсии Ру величины У: 
> Е: ее м 
а 47). 


Наконец, учитывая, что в данном случае 
А | ря: -1х — ХТА’- 
в. | 
| О 4-я А’-1 


получаем из (32) несмещенную оценку ковариационной матрицы 


оценки параметра [а &]: 
4—4, (++ял-я), Я 


Подставив сюда выражение А’-1 из (44), получаем 


аа Е 

Е Кра = — Ках, ‚- 
то рАСт 

.=а,-— Юх бх ‹ 


367 


я 


Ы—— 
Г. —— : = Е 
Е ЧЕ | Ё ыы УЕ 
+29. 289-216 `85_ 14 Г 1:16 145 30 262 94 2012 
2 г 30-395 244 92 16 Р2 11745 БЕ 339 -96 353 
3130 424 246 90 18 2 | 18145 370 357 881514 
4 | 30 313 239 (‘9 10 О 1 19 | 45 379 198 147 64| 4 
5135 243: 275% 3 ал ‘45 463- 206 №5 ЗЕЕЗ 
6 22992 212+ 45. 316. 245: 132 6014 
71! 43 396 267 100 39 3 -| 22 | 45 -280 2255 18 3614 
8143 356-274 79 9 21 23-[-44: 395-215 г 2:1 
9 144 346 255 126 5613124149 139 220 136 5910 
1944156 258 95 2810175149 2452051337174 
11 144 278 249 ПО 42 41-26-1249 32421 8855 ] 
12 | 44 349 252 88 21 | 1127] 51 224 215 И8 5413 
[3 1:44 14|] 236 {29 56 Е | 28 | 51 677 20 16 33] 4 
14-44: 245 —-236- 97 24 [11 29151 424 210 140 5914 
15 145 297 256 ЫЕ- 45 3 |130 ]51 150 210 105 39| 0 


_ Формулы (45) — (48) лежат 3 основе стандартной программы 
- линейного регрессионного анализа МУЕТЬ. [94] *). 
Пример 4**). Построить оптимальную линейную. регрессион- 
ную модель по результатам 30 наблюдений величины У и пятимер- 
‚ ного вектора х, представленным в таблице: 


И 8 


_В результате расчета на ЭВМ по программе КЕСКВЕ получена 


зависимость: 


их 


#0) =2,267--0,01 [1,242 0,739 1504. 0,151 4,919] Х 


х (= — [43/13 316/17 241,80 105,67 34, 13] 


и оценки средних квадратических отклонений величины Уи оценок 


а нентов регрессии 
=1,05162, бе, =0 03635, б,.=0,00186, 
а” 00635, о„,=0,03679, д,„,=0,04141. 


Анализ этих результатов: показывает, что средние квадратические 


отклонения оценок первого и четвертого коэффициентов регрессии 
значительно превышают оценки этих коэффициентов. Это приводит 
к гипотезе, что зависимость регрессии от первой и четвертой коор- 
динат вектора х несущественна. В примере 8 мы увидим, что эта 
гипотеза может быть принята. у 


( 
х 


*) Для построения. линейных регрессионных моделей -в [94] 


служит общая программа КЕСКЕ, использующая программу СОККЕ 


для вычисления выборочных средних, дисперсий, ковариаций, коэф- 


. фициентов корреляции и сумм квадратов и произведений, программу 


‚ 368. 


— ММУ для обращения матрицы К». и программу МОЁТК для не- 
‘посредственного построения регрессионной модели. 


**) Примеры 4 и 5 заимствованы из [94]. 


чи 


Пр инимая во внимание, что в данном случае п == 30, и 
$=26. 54161, и определив по таблице 6 верхнюю 5%-ную точку Ё;рас- | 
` пределения т (1), о.-=2,51, находим доверительную областв’ для 
матрицы [а 8], соответствующую коэффициенту доверия 0,95: 


| (2,267 —а—®)*-+ @—8) А” (&—8Т < 0,555, 
: где $ 
х=[43,13 316,17 241,80 105,67 34,13]Т, 
2—=0,01 [1,242 0,739 1,504 0,151 4,919]7, 
ДВЕ дк. 295 


и 
А РЕ ож Аь бы 30 0х», 


/ 
б,— диагональная матрица с элементами 6,52176,. 114,42990, 
36,43074, 17,85640, 15,97571, а в 
1,00000 —0,06721 —0,13689 .0,49755 0,55849- 
—0,06721 1,00000 —0,17857 —0,05227 —0,18381 
В. = —0,13689 —0,17857 1,00000 —0,40874 —0,26319 
0,49755 —0,05227 —0,40874 — 1,00000 —0,93552 
0,55849 —0,1838! —0,26319 0,93552 1,00000 


- Доверительная область для значения линейной регрессии у при. 
данном х определяется неравенством 


у— —2,267—&(«—2) |< 
<036 У Т-Т, ТЕ р-н к ия) 


при тех же х,- 5, бхи №, после определения по ‘таблице 3 значе- 
НИЯ 1% =, ЕЕ 064 по данным Р=п—г==24 и &“=0,95. 

Пример 5. Найти полиномиальную оценку регрессии 4-й степени 
скалярной величины У на скалярную величину х по наблюденным 
значениям хи У в 15 опытах, приведенным в таблице: 


Гозо беоне вене 


ХА 
ук | 1016 20 23 25 26 30 36 48 62 78.94 107 18 127 


В результате расчета на ЭВМ п по программе Е *). получена. 
зависимость 


1) =—5,642 | 19,449х —5, 1475 4-0, 5650853 —0,018113л4. 


*) В [94] для построения. полиномиальной. регрессионной мо- 
дели служит программа РОГОК, использующая программы ОРАТА 
‘для вычисления степеней независимой переменной — координат век- 
тора 2, их выборочных средних, сумм квадратов, сумм произве- 
дений и, коэффициентов. корреляции, МТГМУ для обращения корре- 
ляционной матрицы и ` МОЕТ для Е ВЯ поСтрО-НВ а: 
модели: : | 
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3.10. Оценивание регрессии. одной. - блучайной вели- 
чины на другую. Перейдем теперь к случаю, когда х 
представляет собой значение некоторой случайной вели-. 
чины Х. Задача нахождения моментов оценок и довери- 
тельных областей для а, ви у=а- сх в этом случае 
значительно труднее. При нормальном совместном рас- 
пределении величин Х и У сравнительно легко нахо- 
дятся лишь доверительные интервалы для элементов 
матрицы © по отдельности. Для решения этой задачи 
достаточно рассмотреть случай скалярной величины У *). 

# Выделим одну первую координату вектора Х, кото- 
рую мы обозначим Х.,. Точка перед индексом постав- 
лена для того, чтобы отличить ‚первую координату 
вектора Х от его значения в первом опыте Х,. Пред- 
ставим вектор Х в виде блочной матрицы- -столбца я = 
=[Х., Х’Т|Г**). Соответственно представим матрицу- 
строку & в виде в=[е, 5'| и значения вектора Х в с0- 
ответствующих опытах в виде Х ‚ = [ХуёХь |Т (Е =1,..., п). 
Пусть 6 — матрица-строка коэффициентов регрессии У на 
-Х=|Х.. Х’Т]Т, Й, — матрица-строка коэффициентов ре- 
грессии У на Х’, В ‚ — матрица-строка коэффициентов 
регрессии Х.; на Х,, 4, Н., Н,—оптимальные оценки 
матриц 2, Й,, И.. Положим | 


$„=У, [У —У—Р, (Хь ХР, Хх =- У, Х,, 
= : Ю = 
1 п 
„= -У их, ба ХР, Ха =-У, Хы, (49) 
=] Е=1 
‚= У у. —#—Н (Хх: —^)ИХ,—Х..—Й, (+ —Х')]. 


Бартлетт доказал, что ‘статистика 


пр 
— Е: Зы (6,8 _ 60) 
*) Впрочем, все полученные выше результаты в этом нуна 
справедливы для условных характеристик при данных лу, ..., х,. 


**) Чтобы избежать вырожденного распределения, в этом. 
случае регрессия У на Х всегда представляется в виде у (х) = 
о. 
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имеет Т-распределение $,-,-_, (#) [2]. Это дает возмож- 
ность находить доверительные интервалы для коэффи- 
циента регрессии ©,. Совершенно так же определяются 
доверительные интервалы для 9,, ..., &,. 4 


Пример 6. .Найти регрессию случайной величины У на Х в 
условиях примера 6.7. 
По формуле (45), имея в виду, что в данном случае п—20, 


г=1, В; =1, Вуж=Тхиу, находим д—0,57. Так как в. данном слу- 
чае $1=("—1) 02, $8 = (п— 1) 0%, $12 = (п— 1) Ё,,=(п—1) 9х0, Рху» 
‚ то доверительный интервал для © определяется неравенством 


. = 81 < №, 
^, бу : ея 


‘где определяется уравнением $5„-› (1») =@. Полагая &=0,95 и 
учитывая, что & =п—2=18, находим по таблице 3 м =® С: 103. 
После этого определяем доверительный ма 0,27 < & < 0,87. 


$ 4. Проверка гипотез о регрессии 


4.1. Критерий для проверки гипотез о равенстве нулю 
коэффициентов регрессии. При построении регрессион- 
ных моделей обычно возникает вопрос, нельзя ли пре- 
небречь зависимостью У от некоторых координат век- 
тора х. Иными словами, возникает вопрос о проверке. 
гипотезы, что некоторые элементы матрицы м: 
тов регрессии & равны нулю. 

_ Пусть. х’ — вектор, образованный первыми р коорди- 
натами вектора х, х”— вектор, образованный остальными 
г—р координатами. Представив матрицу-столбец х в 
виде блочной матрицы х=|хТ хо и матрицу & в ‘соот- 
ветствующем блочном виде в=|9” 5"|, будем, ‘иметь вх= 

=5'х’ + 5"х”. Если регрессия не зависит от х”, то 5" =0. 
Задача заключается В том, чтобы определить, согласу- 
ется ли гипотеза в” =0 с полученными эксперименталь- 
ными данными. | 

`Чтобы найти подходящий критерий для проверки. 
гипотезы 5” = 0, рассмотрим сначала случай скалярной 
величины У. Предположим, что найдены оценки регрессии 
при &5”=0 и без этого допущения и в обоих случаях _ 
вычислены суммы квадратов отклонений эксперименталь- 
ных точек от регрессии, которые мы обозначим. соответ- 
ственно 5’и $. Ясно, что если гипотеза 5’ '—=0 верна, то 
$ и $’ должны быть близкими, хотя 5’ всегда несколько 
больше, ‘чем $. Если же гипотеза 0”=0 неверна, то 5’ 
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может быть значительно больше 5. Таким образом, в 
‘качестве меры отклонения экспериментальных данных от 
гипотезы 5” =0 можно принять. отношение (/ = 5/5”. Если 


найденное по экспериментальным данным значение и 


близко к 1, то можно считать, что гипотеза д” =0 не 
противоречит экспериментальным данным. При малом 


значении И гипотеза 5”=0 плохо согласуется с экспе- 


ав данными и ‘должна быть отвергнута. 

В случае векторной величины У отклонения экспе- 
- риментальных точек от регрессии характеризуются мат- 
рицей, элементами которой служат суммы квадратов и 
произведений. отклонений координат экспериментальных 
точек от регрессии, т. е. матрицей $ $3. При этом ве- 
личину рассеивания экспериментальных точек относи- 


тельно регрессии можно характеризовать определителем 


матрицы 5 (который пропорционален объему эллипсоида 
рассеивания). Поэтому за критерий для проверки гипо- 
тезы 5” =0 в случае векторной величины У обычно при- 
нимают отношение определителя матрицы. ©, определяе- 
мой формулой. (33), к определителю такой же. матрицы 
$’, вычисленной при гипотезе в” =0, И =|$|/|5$' |. 

4.2. Вспомогательное предложение. Вычислим разность 


$'—5. Пусть (’—оценка матрицы 5’ при гипотезе 
0"—=0, 0% и (®) — оценки матриц ив’, полученные 
без допущения 5”=0, @=[6%(0%]. 

- > Представив НИНЫ: Ди Вв соответствующем 
блочном виде: 


лы Ан], а 2 Е 
[а]. в-ри, 


можем переписать уравнение (27) для оценки С в виде 
двух уравнений: 


СфА,, + б®А»„, = В’ бы, ‚-б®А „= В”. (51). 


_ Уравнение (27) для оценки С’ имеет вид. 


—^ 


о 
Выразим матрицы $ и 5’ формулой (34): 
5=У (У, 671 = У (у, бобр, 
#1 - >. ‚1 : 


— 


=> (ИС УГ. 
= о 


372 


Ч 
Е. 
р: 


Вычитая первую формулу из второй, А 


3'—5 = У бо + (б® — бур = 
к=1 


— 


— (<?) В -(’) В'Т. (53) 


Чтобы вычислить разность (— С’, вычтем уравнение 


(52) из первого уравнения (51): 
(4% — 0’) А. -С®А,, ==0. 
Отсюда находим | 
‚ 60 —(’=—С®А А. 
Подставив это выражение в (53), получаем 
$’ —5 = Се (В Аылав“).- (54) 


? 


Для дальнейшего преобразования этого выражения _ 


_ исключим из (51) матрицу (®.`С этой целью умножим 
первое уравнение (51) на АрА,, и вычтем из второго: 


6% (А„—А„АвА,,) = В" — В’АБ 


12° 


Отсюда, имея в виду, что А„= Аг, Ай=А, Ав=А,,. 


вследствие симметрии матрицы А, находим 
и СНВ В Я-А д — 
В - АА =(А,— Аз Ап 12) а 


_Подставив это выражение в (54), окончательно получаем. 
5'—$=0(® (А„— А Аш. 12) р г. <. (55) | 


По доказанному `в п. 3.6 при данных значениях 


Е а нормальном распределении величины У 
статистики _С`и $ независимы. Формула (55) показывает, 


что матрица 5’ в этом случае представляет собой сумму 


двух независимых м _ определенных т. 
ее 

° 4.3. Прбнерий гипотез. |: ры скалярной наблюдае- 

мой величины. Рассмотрим подробнее случай скалярнов 


величины У. В этом случае величина 5/), имеет х”?-. 


распределение с и—г степенями свободы и, соответст- 
венно, 5’/), имеет у?-распределение с п—р степенями 
свободы. Следовательно, независимая от & величина 
(5’—5)/), имеет х?-распределение с. п—р—(п—г) = 
= (Г— р) ‘степенями свободы. Отсюда следует, что вели- 
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чина И=5/5’ имеет В-распределение с параметрами 


(п—)/2 и (Г—р)/2, а величина г. | 


54-Е) 
"= > ий | 
имеет `ЁР-распределение с’—ри п—г степенями свободы 
[+-р.п-,(Р) (примеры 5.24 и 5.26). Поэтому для проверки 


гипотезы 5”=0 можно пользоваться таблицами  Р-рас- 


пределения. По этим таблицам определяется верхняя 
100(1 —<)-процентная точка {„» Е-распределения],- „.„-,(7), 
т. е. такое значение [|„, при котором Р(Е<|р)=ча. 
Если полученное экспериментально значение { величины 
Е значительно меньше [«, то гипотезу 5” =0 можно счи- 


тать согласующейся с экспериментальными данными. Для 


подкрепления решения, что 5” =0, в этом случае можно, 


_— пользуясь Р-распределением или В-распределением, вы- 
о числить вероятность того, что` Е примет значение боль- 


шее, чем экспериментально полученное значение $ (соот- 
ветственно вероятность’ того, что И примет значение 
меньшее, чем экспериментально полученное и=1/]1-- о 
7 (—р)/(п—г)|). Если эта вероятность велика, то это 
служит дополнительным доводом в пользу гипотезы 


5" =0. При [>| гипотезу в”=0 следует отвергнуть. 


Пример 7. В условиях примера 4 проверить гипотезу & =0. 

В этом случае п=30, г=б, р=!| и верхняя 5%-ная точка 
Е-распределения {эл ({) есть р -=2,62. Экспериментально полу- 
ченное значение | определяется формулой 


30 
(5’—5)/5 ’ ое. нач 
С ———— Е и 8 
ТГ (Ув— и) 
: =. КЕГ ` 
Это значение вычисляется подпрограммой МОГТК. В. данном слу- 
чае оно равно 5,6608, т. е. больше чем в два раза превышает: кри- 


_тическое значение № 5 =2,62. Поэтому гипотеза в =0 должна быть 


отвергнута. 


- Пример 8. В условиях примера 4 проверить гипотезуу что 
регрессия не зависит от первой и четвертой координат вектора х. 
В этом случае п=30, г=б, р=4 и в результате расчета на 
ЭВМ по программе МОГТК получено 5=26,54161, 5$’=26,67073.. 


‚ Следовательно, 


2-Е 0,12912/2 
__  8/(п-—^)  26,54161/24 
Это значение почти в 60 раз меньше критического значения {ю 


Е-распределения {[› о. ([), соответствующего &и=0,95, [и э- = 3,40. По- 
этому гипотезу 51 = 6. =0 можно принять. Оптимальная регрессион- 


—0,05837, 


`ная модель при этой гипотезе определяется формулой 


Их) =2 267--0,01 [0,744 1,497 5,363] (х'— [316,17 241,80 34,13]7). 
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При этом получены следующие оценки средних квадратических 
° отклонений величины У и оценок коэффициентов. а 55, 93’ 


и 55. 
б,=1,01282, 0,„,=0,00172, Ро 00551, бд, = 0,01258. 


Для нахождения доверительной области для а, 62, 93 и ое 


[92 23 65| =’, определяем верхнюю 5%-ную точку Е- распределения 
4,96 (№), Го, а 74. После этого доверительная область дляаи 5“ 
определится неравенством 


| бт фа 8 "вт < 0,375, 
где . \ 
х’ = [316,17 241,80 34,13]Т, 5’ =0,01 [0,744 1,497 5,363], 


- а матрица д" получается из такой же матрицы примера 4 вычерки- 
ванием первой и четвертой строк и первого и четвертого столбцов. 
Обратим внимание на то, что. в этой ‚упрощенной модели сред- 


ние квадратические отклонения оценок 25, бзи 6, меньше, чем в. 


полной модели примера 4, причем 0, примерно в 3 раза меньше, 
‚ чем в полной модели. 


4.4. Проверка гипотез в случае векторной наблюдае- 
мой величины. Перейдем к случаю т-мерной векторной 
величины У. Рассмотрим сначала случай р=г— 1, т. е. 
случай проверки гипотезы о независимости У от одной 
г-й координаты вектора х. В этом случае величина 
И=|$5|/|$”| имеет В-распределение с параметрами 
(п—р—т)/2, т/2 и, следовательно, величина 


- Ч@=И)т- 
о И /(п—р—т) 


имеет Р- -распределение с т и п р— т степенями. сво- 


боды Тира Поэтому гипотеза 5” =0 проверяется 
совершенно так же, как в случае скалярной У. 


В случае, когда гтг-т< р<г—1, величина И может 


быть представлена в виде произведения г —р независи- 


мых сУЧАИЕН величин Хь че: 


и-П Хь 


= 


в: р: 


где Х, имеет В-распределение с параметрами (и—р—_ 


—т—1--1)/2, т/2. Это доказывается путем вычисления ' 
моментов величины И совершенно так же, как в при- _ 


. мере 5.45 [1]. - 
При р<г—т, что, конечно, возможно только при 
г>2 т, величина И может быть представлена‘в виде про- 
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изведения т независимых случайных величин Е: 


и-Пх, 


1=1 
где х, имеет распределение с параметрами (п—-х — 


—1+52, ((—р)/2 [1]. 


‚ В соответствии с этими распределениями величины Ц 


и решается задача проверки гипотезы б”=0. При этом 
точное определение соответствующих уровней значимо- 


_ сти в общем случае невозможно. Методы точного реше- 
ния этой задачи в частных случаях, а также прибли- 


женные методы читатель может найти в |1]. | 
-Практически задача проверки гипотезы 5” =0 в этом 

случае может быть решена путем оценки вероятности 

значения И, меньшего, чем полученное экспериментально 


значение и, методом статистического моделирования. Для 
этого необходимо моделировать независимые случайные 
_ величины с соответствующими В-распределениями и найти 


частоту события ПО <и*). Если эта частота достаточно 
велика, то гипотеза 5” = 0 А В противном 
случае она отвергается. 

Совершенно так же проверяется гипотеза 5” = 0, при 


` любой данной .матрице 8. Для этого достаточно заме- 


п. 


нить У величиной У — 6%Х”. 
Положив р=0, можно определить оверительную 


_ область для матрицы в, соответствующую коэффициенту 


доверия ©, неравенством И >> из, где и. определяется из 
уравнения Р(И > и.) =. Это неравенство определяет 


случайное множество значений 5, которое с вероят- 


ностью @ накрывает неизвестное значение матрицы 5. 

Если х— значение некоторой случайной величины Х, 
то в соответствии со сказанным в п. 3.10 легко про- 
веряются только гипотезы о каждом элементе матрицы & 
по отдельности. В частности, если значение &„, коэффи- 
циента реа 2; попадает в доверительный интервал 


^^ _ № За р ‚<б +5 Е 
5 ИР : ПЕР 
соответствующий а доверия &=Р (]|Т| < &), 


то гипотезу 5, =#»„ можно принять. В противном слу- 
`чае она отвергается. 


*) Для вычисления функции ‘распределения в случае В-распре- 
‘деления в [94] служит программа ВОТК. 
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Пр имер 9. В условиях примера 6 значение &=0 не принад- 
лежит найденному доверительному не. (0, 27, 0,87). Поэтому. 
ыы. 8 = =0 следует отвергнуть. 


4.5. Проверка гипотез о линейности регрессии. Вто- 
рая гипотеза, которую приходится проверять при по- 
строении регрессионных моделей, —это гипотеза о ли- 
нейности регрессии. Для проверки этой гипотезы 
‚необходимо при каждом значении х наблюдать случай- 
ную величину У достаточно большое число раз. Пред- 
положим, ‘что величина У наблюдается п, раз при 
х=х®, п, раз при х=х“®), ит. д., Им раз при х= Е 
+... ийм= М. Значения величины У при -х= ке 
обозначим Е О 

Рассмотрим сначала случай скалярной величины У. 
Совершенно так же, как при проверке гипотезы о неза- 
висимости У от части координат вектора х, образуем 
две суммы квадратов. отклонений экспериментальных 
точек от регрессии, одну, 9, при гипотезе о линейности 
регрессии: Е 2 


Мм "р 
= У (Ур— 0х), 


и другую, $., без ‘этого допущения: , 


$ СЕ - ^ у УР) - У‹Р) | =. ух. 
=». У, ( —- Ё Е 


‘Если отношение И=5,/5 (которое, очевидно, не может 
быть больше 1) близко к 1, то гийотезу о линейности 
регрессии можно считать не противоречащей экспери- 
ментальным данным. Нри малом значении ИЦ эту гипо- 
тезу следует отвергнуть. = 

В случае векторной величины У за ‘критерий про-_ 
верки гипотезы о линейности регрессии можно. принять 
отношение И=| 5, |/ [5 | определителя матрицы 


м. не - а. 
ыы + ь2 (У — У) (ур —Уф)т 
р=1 В =} ее а 
К а матрицы. 
9 = х Хе к) — (хр) (У —Сжр)т. 
! р=1 Р=1 ь 
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` Совершенно так же, как в предыдущем случае, доказы- 
вается, что при нормальном распределении величины У 
разность $ —5, независима: от $, и в случае скалярной 
_У величины $, $, и $—5, имеют х?-распределения со- 
ответсвенно с п—М, п—г и №М—г степенями свободы. 
‚Вследствие этого случайная величина И имеет В-распре- 
деление с параметрами (№М— и)/2, ("—М)/2 и, соответст- 
венно, величина 

в @=0)/(—г) 
И/(п— М) 
имеет Р[- -распределение мт, в- м(Р (пример 5.26). С 
помощью этих распределений гипотеза о линейности 
регрессии проверяется совершенно так же, как гипо- 
теза 5” =0 в случае линейной регрессии [24]. _ 

Точно так же проверка гипотезы о линейности рег- 
рессии в случае векторной величины У сводится к при-. 
менению тех же распределений, что и проверка гипотезы 
5" =0 при линейной регрессии, 

4.6. Выбор типа регрессионной ‘модели. Рассмотрим 
теперь вопрос о выборе регрессионной модели. Решение 
этого вопроса сводится к определению переменных, от 
которых зависит интересующая нас случайная величина У, 
и конечного числа функций этих переменных, которые 
следует включить в состав вектора х. При решении этой 
задачи приходится искать разумный компромисс между 
двумя противоречивыми тенденциями. С одной стороны, 
естественно стремление учесть возможно больше факто-. 
ров с целью получить модель, наиболее полно отражаю- 
’щую изучаемое явление. С другой стороны, всегда же- 
лательно, чтобы модель была достаточно простой. Прак- 
тическое применение чрезмерно сложной модели связано 
с необходимостью получения болыиого объема информа- 
ции (приходится измерять и определять каждый раз 
значения всех переменных, включенных в модель) и 
выполнения сложных вычислений, требующих, больших 
затрат машинного времени, что в конечном счете при- 
водит к высокой стоимости и трудоемкости применения 
модели. Кроме того, ‘полнота и точность сложной модели 
_ могут оказаться иллюзорными из-за ограниченного объема 
‘доступной информации, которой приходится довольство- 
ваться при’ построении модели. Однако применение чрез- 
мерно простых моделей может приводить к большим 
ошибкам. Поэтому необходимы модели. разумной степени 
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сложности. Как всегда .в подобных случаях, компро- 
_миссное решение не может быть однозначным. Более 
того, две различные модели, полученные в результате 
компромиссного решения задачи разными методами, труд- 
но сравнить между собой, и невозможно отдать пред- 
почтение какой-нибудь одной из них. Поэтому мы не 
будем говорить о наилучшей модели ‘и будем называть 
модель, полученную в результате компромиссного * реше- 
ния, подходящей моделью, подразумевая, что она до- 
статочно хорошю удовлетворяет как требованию полноты 
описания явления, так и требованию престоты. | 

Экспериментальным исследованиям, проводимым в. 
пелью построения модели, должно предшествовать опре: 
деление полного набора переменных, которые могут быть 
‘включены в модель, и разделение их на входные пере- 
менные (которые войдут в состав вектора х и от которых 
будут зависеть координаты вектора х) и выходные пе- 
‘ременные (координаты случайного вектора У). Лишь 
после этого могут быть проведены опыты, в результате 
которых будут получены значения входных и выходных 
переменных. 

Обычно модель строится для каждой из выходных 
переменных (координат вектора У) по отдельности, а 
затем полученные скалярные . модели объединяются в 
одну векторную. 

Для построения подходящей регрессионной модели по 
результатам опытов можно применить следующий прием. 

Сначала выявляется характер зависимости выходной 
переменной от -каждой из входных переменных путем 
грубого глазомерного построения соответствующих гра- 
фиков. В результате определяются функции входных о 
переменных, которые целесообразно включить в состав. 
вектора х. При этом будут приближенно учтены основ- 
ные нелинейности модели относительно входных пере: 
менных (см. замечание в конце п. 2.7). ^ 

После вычисления полученных в результате опыта 
значений координат вектора х производится вычисление 
выборочных коэффициентов корреляции всех координат 
вектора х с выходной переменной У. Из координат век- 
тора х выбирается одна, для которой коэффициент кор- 
реляции с У имеет наибольшее по модулю значение, и 
строится модель, включающая только одну эту коорди- 
‘нату. На этом заканчивается первый шаг. опель 
шаги производятся по такой же схеме. 
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На каждом шаге вычисляются выборочные коэффи- 
циенты корреляции всех еще не включенных в модель 


_ координат вектора х с остатком, т.е. с разностью между 


величиной У и ее оценкой У с помощью построенной на 
предыдущем шаге модели. Из этих координат вектора х 
выбирается. та, которой соответствует наибольший по 
модулю коэффициент корреляции. После этого строится. 
новая регрессионная модель, включающая выбранную 
таким путем координату, и проверяются гипотезы о воз- 
можности пренебречь зависимостью от. каждой из ранее 
включенных в модель координат. В результате прини- 
мается окончательная регрессионная модель на этом шаге. 

Процесс заканчивается и принимается окончательная 
‘регрессионная модель, когда будут перебраны все коор- 
динаты вектора х или же когда включение новых коор- 
динат будет приводить к увеличению оценки дисперсии 
остатка, т. е. к увеличению среднего квадрата ошибки 
оценивания величины У с помощью построенной модели. 

Изложенный метод построения подходящей регрес- 
сионной модели представляет собой один из вариантов 
шагового регрессионного анализа. Обычно он дает хоро- 
шие результаты [24] *). 


При мер 10. В условиях примера 4 изложенный метод после- 
довательно включает вторую, пятую и третью координаты вектора х. 
°и дает в результате модель примера 8. Попытки включить первую 
и четвертую координаты приводят к увеличению оценки дисперсии 
величины У’, т. е. к а точности модели: 


$5. и расенонный анализ 


_ 5.1. Качественные переменные — факторы. В теории, 
изложенной в & 1—4, координаты вектора х могут быть 
как непрерывно изменяющимися переменными, таки 
переменными с конечным множеством возможных значе- 
ний. Однако в некоторых задачах практики наблюдае- 
мая случайная величина У зависит от факторов, кото- 
рые невозможно охарактеризовать набором измеряемых 
скалярных величин, а можно лишь описать словесно. 
Классическим примером такого рода является исследо-_ 
‘вание зависимости урожая от характера почвы и спо- 
соба ее обработки (например, вида применяемого удоб- 
рения). В данном случае наблюдаемой случайной вели- 


= Другой вариант шагового регрессионного анализа реализуется 
В стандартной программе $ТРКО [94]. 
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ЕСА 


чиной является вес урожая, который зависит от двух 


‚ факторов — характера почвы и `способа ее обработки. 


Задача исследования состоит в построении статистичес- 
кой модели этой зависимости. Методы решения подобных 


задач составляют содержание дисперсионного анализа и _ 


теории планирования экспериментов, основы и 
заложены Фишером [112, 116]. . 
‘Основная задача’ дисперсионного_ анализа состоит. 


в том, чтобы по результатам наблюдений некоторой слу- 


чайной величины У оценить зависимость ее математи- 
ческого ожидания от факторов, не поддающихся коли- 
честввнному описанию, и ее дисперсию (ковариационную 


матрицу в случае векторной величины У). Конкретные 
‘значения каждого фактора обычно называют уровнями 


этого фактора. Заметим, что в задачах дисперсионного 
анализа некоторые _ факторы могут допускать и коли- 
чественную характеристику, но при этом опыты произ-_ 


водятся только при нескольких фиксированных значе- 


ниях этих факторов. 


5.2. Полный двухфакторный план экспериментов. рае 


смотрим сначала случай двух факторов ЁР, и Р,. Пред- 
положим, что наблюдение величины У производится при 
и уровнях фактора Р, и \ уровнях фактора Е., причем 
для каждой из пу комбинаций уровней этих факторов У 


наблюдается. один раз. Такая схема наблюдений назы-_ 


вается полным двухфакторным планом эксперимента. 


Пусть У,;‚—значение величины У, получаемое при 


Г-м уровне Е. ирм уровне (Е. 
Предположим, что математическое ожидание случайной 
величины У;, представимо в виде 


МУ=Б +В, ПТ ьы Е. +: У), (56) 


где р, —общая для всех уровней обоих факторов часть. 


математического ожидания величины У, В; и 6, — части, 


обусловленные влиянием 1-го уровня фактора Р; и ]|-го 


уровня фактора РЁ, соответственно. Кроме того, предпо- 
ложим, что ковариационная матрица К, величины У не 
зависит от уровней факторов ЁР, и Р,. Соотношение (56) 
выражает обычное для дисперсионного анализа предпо- 
ложение об аддитивности влияния двух факторов. 

Легко сообразить, что -параметр 6, можно выбрать. 


`произвольно, в частности, принять равным 0. Однако 


практически удобно принять в. равным среднему значе- 
нию МУ для всех возможных комбинаций уровней Р, 
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и Р,. При этом 6,; и 6,, будут связаны соотношениями 


: | р \ 
_* 36: =0, о Ь, =.0. (57) 
: = 1=1 
Задача построения. модели = ‘данном случае сводится 
к оцениванию величин 6%, 6;; (1=1,..., м) иб,, (]= 
=1|,..., №) и матрицы Ку С) результатам наблюдений. 


5. 3. Приведение к задаче оценивания линейной рег- 
рессии. Заметим, что величины МУ;, (=1, ..., в; 


[=1, ..., \) представляют ‘собой значения функции 


Т®= =. Е, . НЫ, и- 1Хр -- ь 
НВ Хин Р.. . 6, э- ие -1 
и-+У—1 переменных, из которых х, = | всегда, а осталь- 
ные принимают одно из значений 0, |1, —1. 
Действительно, в силу (57) при х;а=хи,,=1, 
=0 (й=2, ..  иУ— 1; АЕ В) - 
Г (х) =6, НЫ: 6, = МУх 
(=, ни =Ь,.., м, 
ее: Е, ОЛ ы Е 51-1), х, = —1 
ШиЕЕ...., р 
То =ь-ь:Ь— | 6.1 —... — 03, у-1 = 8, += МУь 
и и— 1), 
При, жил, Я, =0: (И =вЬ..., и-У— 1; п==и-]), 
ео | 
| Г (х) —=.6,—6..— .. .— 61, и-1 Но, = би -Н5,, = МУ 
Е ..., УТ), 
_ при х, =... == Хичу-1 = = | 
Г) =— 6, — м — 61, и--1— 61 —...-— 6, у-1 —= 
у | =, Но 6, = МУц»,. ‚| 


Таким образом, задача дисперсионного анализа сво- 
_ дится к задаче линейного регрессионного анализа $ 3 при 


= бы Ри, .. ЕЙ и- эми Ваыы +. 
бк. м- Е 1. 


При этом координаты вектора х (за исключением х;= 1) 


могут иметь только три возможных значения 0, | и —1. 


_ Следовательно, формулы для оценок параметров 6%, 6: ;, 
в 


. 
1 
з 
- 
Е 
3 
. 
. 
33 
Е 
3 

4 

з 


В ВА, М: доверительных о блааа для них можно вы- 
вести из общих формул $ 3. В результате получим опти- 


мальные несмещенные оценки Во В. И Ву параметров 
бо, Ь, ;. И 6. : ‚ : 


^ 1 й 
ВР 
/ $=1]=1 | ое 
5 т. ПЕ. т. 
Ви =-, У Гу— Во ((=1, ..., В), И =. (58) 
г 

2 ак е 

Ву =, >. Ки Во (=1, ‚ У) 


Несмещенная оценка ковариационной матрицы `К, полу- = 
_ чается на основании (37) в ета деления статистики : 


№ в "< ы > 
- У, —В,—Ви—Вы) (Уи №, —В”. 


на число опытов иу за вычетом размерности и-У—1 
вектора х, т. е. на (иШ— 1) (У—1):. | 
7 : 


—^ 


м кто В,—В,—В)х 
| Я т 
о: —Ви — Вы)". (59) 


Матрица А в данном случае имеет блочно-диагональную 
р 


‚ Гым 0 в Г2у Е ы- 
ом ре У 
о 2 м. м 
24 в и | 
и 


Бр №... 3%. 
где блоки с нулями представляют собой матрицы, все 
элементы которых равны 0, матрица А, ‘имеет размер 
(и—Эх(и—1), а’ А хе: Поэтому на осно- 
вании (32) случайный вектор В, и случайные матрицы 

В, =[В... Вы и В, =[Вы.. .В„.| не коррелированы. 
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1 
ов. Ее 
1... В] г 
У—1 1 —1 
ДЕ | Е У! = 
мг аь з 


Г. — =... НЫ 


получаем формулы для ковариационной матрицы К, 
вектора В:: 
К, =Ку Их, . (60) 

_ ДЛЯ ковариационных и взаимных ковариационных матриц 
Кв векторов В, ..., В, п: 

1 — те Ку =” | з. - 
Кр = ь в О О 

| _ (61) 
и для ковариационных и взаимных ковариационных 
матриц К?? векторов Вы, ..., В», чи: 


- Ж Ре. 
кр -- К К, и Е [=1, .., М— {$ [5-ЕР. 


ЦА цу 
= | | (62) 

_ Эти формулы. распространяются по симметрии и на век- 
торы -Ви=— Ви — и. ВВ. 


...— В, „1—Несмещенные оценки параметров 6, и` и 6... 
_Несмещенные оценки матриц К,, К и К!? получаются 
заменой в (60) —(62) матрицы &, ее несмещенной оцен- 
_ КОЙ- К, из (59). Е 

Найдем еще оценки параметров 


К: 38 У 6:01, НУ, : (63) | 
1=1 =} 


обычно называемых ковариациями средних за счет фак- 
‚ торов Е, и Е, соответственно. Естественно принять за 
оценки К ти К, соответствующие статистические средние 


х 384 


Однако эти оценки смещенные. Чтобы получить несме- 


щенные оценки Кг и К.,, найдем математическое ожида- 


ние А!. Имея в виду, что В,;— несмещенные оценки 
параметров ›№,, и поэтому связаны теми же соотноше- 
ниями (57), что и’б.;, в и. (61) имеем 


М 81 му (В; —6,:) (Ви—в, и Увы 5 


т кк 


=} _ 11 
Поэтому 


мк:=К, К, 


< 


‚Отсюда видно, что для устранения смещения оценки К! 


достаточно вычесть из нее величину К, /У. В результате, . 
учитывая (59), получим Ем оценку Ва 


х. 1 и д. 55 $ | > 
тора ХТ = . 


5 (У—1) 
1=1 | 
По симметрии получаем Е оценку пара- 
метра К,: г 


`. 
щ\ь 


я ] | Е . - 
К. = Ув „ВЪ— о (65 


У ии—1 


1=1 


В случае нормального распределения величины У из. 


некоррелированности оценок В,, В; и В, вытекает их 
независимость ($ 3.5). Отсюда и из доказанного В $3 
следует, что статистики ЕЕ. 


Зо = ру (В. —6,) (В. — вит, 


`- 


= 


$: (В —6,) А, (В, —6:)' = У ВЫ) (вт, , 


{= 1 


5, (В, —6.) А, (В, —6,)"=в 2 (Вы —в (В, —6,, 


1=1 


< 


5% 
$ = : 3 >» (У, —В,—В,; —В.,) В.В Ву 


_ независимы и имеют распределения Уишарта в, (5), 


_ Фит ($), Шут (5$) И ф-пу-ь, т (5) соответственно. В част- 
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ном случае скалярной велинины У величины 5,/Ш,, 
5:/В,› 5,/Р, и 5/), имеют х?*-распределения с 1, и— 1, 
Ги (6—1) (*—1) степенями свободы соответственно, 
В дополнение к общим способам построения довери- 
тельных областей для 6, Ь,, 6; и К, и проверки гипо- 
тез о’Б., 6, 6, Зои 4в данном случае возникают 
дополнительные возможности вследствие независимости 
Ся 5:,И 5. В частности, в случае скалярной величины У 
для нахождения доверительных областей для В, В и 6, 
по отдельности и для проверки гипотез о них, можно 
воспользоваться тем, что отношения 


(2—1) (*—1) 5/8; (\—1)5,/3, —15,/3 


имеют ЁР-распределения {), (и-1)(%-1) (Г), [и-1, ш-ьу-ь (1) 
и [1 и-0-, (Ф) соответственно. Это дает для к 


р иб, а области. 


;- 


Уль) < уе. 


=] 


= = у (В„/— | Ь,,)? < 1)’ | (66) 


1=1>-: 


где [„— верхняя 100 (1 —©)- процентная точка Р-распре-. 
‘деления {1 (и—1) (у-1) ИЛИ [№-1, (и-1) (^-1) СООТВеТСТвенно. 
Для проверки гипотезы о равенстве 6;; и 6,, данным 
значениям (обычно 0) достаточно установить, удовлетво- 
ряют эти значения соответствующему неравенству (66). 
или нет. В первом случае гипотеза принимается, а во 
ом отвергается. 

‚Совершенно так же дисперсионный анализ _произво- 
дится при любом числе факторов. При этом в случае 
полного М-факторного плана, когда величина У наблю- 
дается при всех комбинациях уровней факторов, кроме 
влияния факторов по отдельности, можно учесть еще 
взаимодействие их по 2, по 3,..., по №М—1. Так, на- 
пример, в случае полного трехфакторного плана можно 
_ предположить, что _ 


МУь=Ь +В; Е р, Ч -Е ба», из, гв 6.3, ув. 
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Пр имер Е. Даны ‘результаты полного четырехфакторного 
эксперимента при четырех уровнях первого фактора, трех — второго 
и третьего и двух — четвертого: 


Учитывая взаимодействия всех факторов по два и по три, строим 


модель вида 


} 


МУзы= Во-Е баг 65-Е Ва бы базу Вазв- бай 


Е бозук-Р Вэаи-Е Ваза Г Вазари Руза -[ бэ, (1) 


орде Вто...) оз» ... удовлетворяют условиям типа (57): 
у = >, о; => => 641 =0, 
ие 7 
> у= >, Ру =... => ба >> бан =0, | 
1 ] , | * 
х блэзеув = Уивиь= > 1езув =... = > бозауЕ ГЕ 0. и. 
1 1 - | 


„Число. независимых параметров Ьо, 611, ‹..» Вова (Г==1, 2, 3, 4; 
у =1, 2, 3; [=1,2) г=60. Оценки параметров Бо, г, ..., блогу, ... 


‚ *) Исходные ‚данные этого примера и результаты вычисления на 
ЭВМ сумм квадратов по программе АМОУА заимствованы из [94]. 
Программа дисперсионного анализа АМОУА включает три под- 


программы: АУРАТ, АУСАГ, МЕАМО. Эта программа реализует” 


вычисления для дисперсионного анализа факторных планов с числом 
факторов до 6, а при соответствующей модификации и с большим 
числом факторов [94]. — 
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ОА 
^ 
< у у № 


^ = 


ее < 275 1 ‘ у ^ ^ е ^ р 
^ Вузе = 5. а Уы — Во— В1:— Вь;— Взк— Вль/ — Влзк— Воздьь ++ 
1 Не я 


Суммы м: | > 
$ = ьз (У/н—В-— В: —Вь;— В —Ви— Вау Ваза 
ЕТ: | 
— Вин— Вуз — Ван Ван — Ваз Воин -— Взин — Вова), 
$1=18 У (В! — 610), | $.=24 У (В;/— 65}, 
[ ] 
бз==24 > (6, — 63к)?, 536», (Ви— 6), 
: 1 
$2=6 >, (Ваз в151)* , $в=6 У, (Ваза — Ваз), 
1] - <. 1, Е 
$ =9 (Ви аи)" эн (Вьзль — бэзув)®, 
Г, 1 
| бы У Выль : _  Эза = > (Валы аль) 


бз=2 х (Влазь — Флори), $124 =3 У Зы , 
|, Е Е 56 


| $1 =3° У, (Втзаге-— блзаг 0%, -бзаа == 4 о (Възальг — бозаль)? = 


Ее = 


в случае нормального распределения величины У с независимой от 
факторов (постоянной) дисперсией О, независимы ихимеют у/*-рас- 
пределения соответственно с А = 12; А, =3, Е =Аз=2, К. =1, А\ = 


== 18 =6, Ата =3, Роз =, ея 123 == [2, т й: = 
- В.зл==4 степенями свободы. 


Результаты выч ислений. 


1) Оценки параметров 6%, 81р ..., оз кг: = 9 ‚40278, а осталь- 
ные оценки даны на стр. 389 и 390. 


2) Значения сумм 5, З1, ..., Эва при 61; ке аб =®0 и. 
оценка дисперсии . величины У:* $— [51 .02777. == 229, 0416 6: $ == 


= 799,.69434, ‘5з==55,11110, 5 =141,68054, 51.=1382,08325, 51 == 
— 4200000, 514 = 18,81944, 23 = 13,13889, 55; =6,02778, 53 =40,77777, 


51ьз = 140,75000, 1» = 176,97221, 51. =50,55554, ‘зом = 62,6389, 


5, = 151,02777/12 = 12,58566. | 
3) Доверительные области для параметров 611, „.в, бозагы» СООТ- 


ветствующие коэффициенту доверия & =0,95, при нормальном распре- 


‘делении величины_У (с учетом результата примера 5.24 относительно 
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] 
1 
2 
3 


1 
| 
и 
3, 
4 


_ 2,041 _ 0, 695 
0,653 4’ 180 
с 153 —3,486 


0,236 |-—0,555| 0,326 
—0,264| 0,820|-—0,555 
_0,027 |-—-0,261| 0,236 


с № — —. 


—1,695]| 2,208|--0,583 0,999] —1,543 0,53 0,623|—0,668|* 0,041 
|, 0,153|—0,513|] 0,363] 1,611 0,070|-—1,682!-—1,763] 0,446] 
—0,014|—1,180] 1,195]--3,223] 1,735| 1,488! 3,236|—0,555|—2,680 


1,487|—0,513|—0,972| 0,61—0,264|—0,347|-—2,097| 0,778 


1,312 
1,320 


_ 389 


6 ау 


р 1 а. р) 2 
7 Е. 2. о. ее 3 
о - 


[ | 
1 0,915 | —0,627 | —0,293 | —0 .918 0,625 9. 290 
2 1,472 | —2, '236 0,765 | —1 473 2936 —0 ‚764 
3 —3.306 2,486 0,819 3 ’ 305 —2,486 | —0 820 
4 0,916 0,375 | —1,292 550: ‚917. —0,375 | —1 291 

Ь за гв 
1 [Е 2 * 


^ 


] 5 . : 

1 | —0,320 1,055 | —0,737 0,319 | —1,057 | 0,736 
2 |—1,070 | —0,320 1,388 | 1,068. 0,318 | —1,389 
3 1,389 | —0,729 | —0,653 | —1, ‚389 0,732 0,653 


распределения отношений (51/3)/(5/12), ...): 


18 [(2,041 —611)2-Е (0, се в) 0,153 Внз)Р-- (2.847--64] < 
ыы [о > ТО 0277 = 55.3,49. 151,02777 =130,963, 


ь] ® # Г Г Г * Р? ® ` Й ” ® . * . . ’ Г ЗАО: 2 С ег В | Ф з . ® Ф . Ф ® Е 


12 [(0,861 — за, 11) (0,111 — за, ›1)?- (0,972-- бза, 1). 
- (0,861 -| бза12)?- (0,110-- 6з422)*- (0,972 — 6заз2)?] < 


:: Е [о -151,02777 == .3,88-151,02777 97,670, | 


Ве 5.0 $ 5.19: 679 п оао ооо о оо 


4) Проверка гипотез о независимости величины У от факторов. 
Нулевые значения параметров -6бзь, 61згк, блаш, озу, боауи» Взакь 
Бтозгу в» 612411, блзагк» Вэзалы Попадают в соответствующие довери- 
тельные области (в этом легко убедиться, подставив полученные 
_ значения сумм 53, $13, 514, 523, 524, 534» $123, $124, 5134, 5234 При нулевых 
значениях параметров 6бзь, Влзгк, бла, Возуь, бал, Взамь лезь, 
та» Ваза» Оэзаук В Левые части неравенств, определяющих дове- 
рительные области). Поэтому можно принять гипотезу о независи- 
’ мости У от третьего фактора, взятого отдельно, и в комбинациях - 
с любыми другими факторами и сб аддитивной зависимости У от 
четвертого фактора (т. е. об отсутствии взаимодействия четвертого 
фактора с первым и вторым). В результате принимаем упрощенную 


< модель 
| МУ уу = Во ЕЕ 6 Бщ-Е богу. (1) 


При этом новая сумма 5 будет представлять собой сумму Уз -- 
—- б1з- ола боз-- ба 534 5123-- 5124-Е 134 иее у?-распределение 
будет иметь 59 степеней свободы (число независимых параметров 6, 
баг, бэр, ба, блогу (1=1,2,3,4; ]=1,2,3; [=1,2) г==13).. Оценка 
дисперсии величины У будет равна 


=. 757,8239 
= 


—=12,84447, 
а доверительные области для параметров В1:, бэу, бар и Бору опре: 
делятся неравенствами | 


18 [(2,041 — 611)?-[ (0,653 — 615)? - (0,153 — 613)? - (2,847 --614)?] < 


3 8 — 1913 
2 г Ре И 0 .3,15 -757,8239 = 121 ‚380, 


я Е О Я р И а К 


Полученные результаты иллюстрируют сказанное в п. 4.6 относи- 
тельно того, что более сложная модель может оказаться менее точ- 
ной, чем простая, при данном сбъеме информации. В данном случае 
простая модель (1) практически не хуже сложной модели (1) по _ 
точности, так как оценки дисперсии величины У (остаточной дис- 
персии в случае детерминированной модели) у них практически 
одинаковы, а’ доверительные сбласти для параметров у модели. (11) 
даже несколько меньше, чем у модели (1). и 


® 


5,4. Неполные планы экспериментов. Полные многофак- 
торные. планы редко удается осуществить из-за практи- 
ческой невозможности провести наблюдения при всех 
возможных комбинациях уровней факторов. Поэтому. 
для практики особенно важное значение имеют неполные 
планы экспериментов. При этом возникают задачи опти- 
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мального выбора комбинаций уровней факторов при 


данном ‘числе экспериментов с целью получения _ МИНИ-_ 


мальных ° дисперсий оценок параметров. Методы решения 


Таких задач дает теория ‘планирования экспериментов 


[7—9, 38,.68,. 108,. 116]. $ 

Простейшим неполным трехфакторным _ планом эксне- 

_ римента является так называемый план латинского квад- 

рата. В этом плане все три фактора имеют одно и то 
же число уровней и и при каждой комбинации уровней 
любых двух факторов наблюдение производится только 
для одного уровня Третьего фактора. При этом число 
наблюдений равно и? вместо п? в. случае ` полного трех- 
факторного плана. 

Ясно, что для неполных планов не все взаимодейст- 
_вия факторов могут быть оценены из-за недостаточности 
числа наблюдений. Так, например, в плане латинского 
квадрата взаимодействия факторов невозможно оценить, 


так как для каждой комбинации уровней двух факторов 


`° имеется лишь одно наблюдение. 

_ Дисперсионный анализ для неполных планов произ- 
водится совершенно так же, как -для полных. Только 
суммирование при вычислении средних производится не 
по всем возможным комбинациям уровней факторов, 
а только по тем, для которых производятся наблюдения. 
Соответственно изменяются знаменатели и.числа слагае- 
_мых в выражениях средних. 

Принимая для плана латинского квадрата 


о НЫ Ц, а Е —=1, ...у р), 
‚2 В; = > 5.) за - У вв =0, 


получим несмещенные оценки параметров 6, р; 6.,, ., 
и К,: у | 
Е 1 ре 1 - . ы 
В. и? и - В:; = — > У» В., 
, 1 Г: ее я (67) 
В»; = ее У» Вь, В; = — зе У» 0» 
[2 (Г) - [3 (®) 
Пе 5 г 5 
_ Уи —В:—В„— В») х (63) 


х РВ, ВВ т 
У — | 


где [множество комбинаций индексов {, ], №, для ко- 


торых производятся наблюдения, /, (1) —множество ком-- о — 


бинаций индексов |, №, для которых при данном # про- 
изводятся наблюдения, 1, (1 =4(], К): (|, ЮЕГ}р и 
точно так же определяются (р ={(6, №): (6 | ее 
и 1 ‚(#) = {(2, 7:2, , РЕП. Вектор В, и матрицы В, 

= [В ..Ври|(р=1, 2, 3) не коррелированы, и коварив- 
ционные матрицы векторов В+, В,;;, В,; и В.», опреде- 
ляются формулами (60)—(62) при у=ы. Несмещенные 


оценки этих матриц получаются заменой в (60)—(62)_ 


матрицы К, ее несмещенной оценкой из (68). Несмещен- 
ные оценки ковариаций средних за счет каждого из 


_трех факторов 


п Е 
/ 5 т 
Е або: (= | 2,3) : ;: 


определяются ее 


ве 2) 


- = |У8,8: 6-5 | @-=1.2,3. (69 


а 


В соответствии с блочно- -диагональной структурой 


матрицы А 6 3 в данном случае величина (@— 5) А (в— —® = 


представляет собой сумму четырех слагаемых: 


бе=и* (В. —6,) (В. — 6), 


| У (А г Т 
5» = И р (В -—5) (В: —6;) | (р =1,2, 3). 
В случае нормального распределения У величины В,, 
В,; В,, В, и 5 независимы. Вследствие этого статистики 
у $ $. 5 И 5 независимы и имеют распределения 
Уишарта &., (5), Фи (5) (общее распределение $,,.5, и 


53) И НЕЕ: ‹и_2)+1, т (5). Если У—скалярная величина, . 
5/Ру, 5:/Б, И 5/2, имеют у?-распре-. 


то 5./), > 
деления. с Е и—1-и Же 2) степенями свободы. 
В соответствии с этим определяются доверительные об- 
ласти‘для В., В., В, и В. и проверяются гипотезы о них 
по отдельности и в любых комбинациях. 

Более подробное изложение методов дисперспонного 


_ анализа читатель найдет в 23 


—— 


(0). 


д 


} 


Глава 10 


СТАТИСТИЧЕСКИЕ МОДЕЛИ, ИП 


$ 1. Модели, описываемые разностными уравнениями 


1.1. Модели авторегрессии. В приложениях часто 
встречаются последовательности случайных величин, 
определяемые рекуррентным соотношением вида 


Ур, (Ув, зах И ых. ИИ (1) 


где {ф} и {ф,\ — некоторые последовательности функций, 
а {У,} —последовательность независимых случайных ве- 


‚личин с нулевыми математическими ожиданиями *). Со- 


отношение (1) определяет модель формирования последо- 
вательности {У,} из последовательности независимых 
случайных величин {У,„}. Такие модели называются мо-_ 
делями авторегрессии вследствие того, что первое слагае- 
мое в правой части (1) представляет собой условное 
математическое ожидание величины У„., относительно 
У ог. Урьраь Т.е. фегрессию.- каждого члена У„-, 
последовательности {У„! на непосредственно предшеству-_ 
ющие члены той же последовательности У», ..., Уз+р-1. 
Число р называется порядком модели авторегрессии. 

нЕ {У,} может быть конечной 
(п=1, ..., №), или односторонне бесконечной (п=1, 
и). или двусторонне бесконечной. (п = 0, 1, = 2,...). 


_В первых двух случаях уравнение (1) определяет члены 


последовательности {У„}, начиная лишь с Ур+,аУ,, ... 


_..., Гр Могут быть произвольными случайными величи- 


нами (конечно, независимыми. от величин И,,). 
_ Уравнение (1) представляет собой разностное урав- 


нение р-го порядка, определяющее последовательность 


*) Предположение, что МУ, =0,` очевидно, не аичиВАе 
общности, так как если МУн 2 0, то величину \р (Ум, ...,Упер-1) МУв 
всегда можно включить в функцию И... РР 1). Тогда во 
Втором слагаемом останется центрированная. случайная величина 
Ув=У,— МИ). | 
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{У}, так как Узьь ‹.., У„+р Можно выразить через У„ 


и разности АУ, =У,-+:—У,, . . -, АРУ,=АР-1У „.:— АРУ, 
1.2. Линейные модели. В случае, когда функции ф, 


линейны, а \ф, не зависят от У,, ..., У„+,-1» уравне- 
‘ние (1) определяет И модель авторегрессии *): 
,.. 
Е ани У 
г = 


р 


Гле @„, -@, +: Ч, т. в векоторые коэффициенты 
(матрицы в случае векторных величин У,). 

Кроме моделей ВОЕН часто встречаются мо- 
дели вида 


| м 
- > ати п-5* 


Такие модели называются моделями скользящего среднего. 

Ясно, что линейные модели авторегрессии и модели 
скользящего среднего представляют собой частные слу-. 
чаи комбинированной модели, определяемой уравнением 


2 рт. р 
У +р т р а -- > тины" | ` (2) 


“. 


= 


Обратим внимание на то, что во всех рассмотренных 
моделях величина У„.,„ не зависит от последующих ве- 
личин У, и\У,. Это соответствует реальным ситуациям, 
“Когда любая система Может использовать лишь сигналы, 
поступившие на нее в прошлом, но не может реагиро- 
вать на сигналы, которые подействуют на нее в будущая 
(условие физической возможности системы). 

1.3. Приведение линейной модели к модели авторе- 
грессии`первого порядка. Докажем, что комбинированную | 
модель (в частности, линейную модель ‘авторегрессии) 
любого порядка можно привести к линейной модели 
авторегрессии первого порядка. 


ее 


> Введем новые случайные величины. и а Е 
определив их соотношениями _ | 

Г, т тя Е Чат „› | (3) 
ни ФЕИ ВО | 

где 09», ..., 9» Пока неизвестные коэффициенты 


(в общем случае матрицы). Тогда. будем иметь 
\ Ува = 21. ах Чт, ВИНЕ се бп ЧЕ 9," п - 91, ПИН 


*) В этом случае постоянные множители 1р„ можно включить в И’. 
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_ `Подставив выражения (4) и (5) в (2), будем иметь 


и ‘вообще ее ее: 
У = и —-9,, в А. | 
(=... р. 4) 
и в этой формуле прих =р—1 п на п -Е 1, получим 
Уи+р= Прана рн У „+... Еее 


= р. п+1 У Ч р-з+1, и. (5) 


я 
| 


Е : р : ъ : ` | 
ав, п+1 = 2 Чр-5+1, пап: = | 
$ = 


ее я-а Я п Сб аньы п+г) 


Е У я 
Или 
р а 
с. В+Г с х и = : 
р-Е _ р-1 _ в "а 
= ь аб ь+1, й = 2 а ея @ 9. -з+1, п+5 Е хе 6, ее 
г=0 _. _ 580 38:3 ее 
(6) 
_ Определим теперь во Ч »п Так, чтобы уравнение (6) 
не содержало У +1 ее И вер. Сравнивая коэффициенты 


при У„+, в левой и правой частях уравнения (6), по- 
лучаем | , 


91, п+) =. 2 5 


_ Отсюда, заменив й на п—р, находим 


> 
— 


Чт. = бр, = р° 


Сравнивая. коэффициенты при. И. =1, -.. РИ 
в левой и правой частях уравнения (6), получим 
р-1 
Чр-з+1, п+5 —" р Я „9 ,- чина Е Он: 


‚ Отсюда, заменив И на п— $, и 


у > 
Чр- 5+1, в Е ме У а Я т, п-; Чг-5+1, п*. 
ео. 


> 


36 | = 


Введем теперь вместо индексов $ и! новые индексы А — 


и /[, положив р-$-1=А, Гг—5--|1=1. Тогда будем 
иметь $=р—Е-1, г=рЫ— —-Е[, и полученная формула 


примет вид 
Е-1 


=> 


Чел в -А+Г, п=р+А- 4-Е. 7 @,- -Е+1, п-р+Е- -19 
(2=2, ..., р). 


Определив таким образом 91, +.., Чрь» Найдем коэффи- 


циент 9р+1,„ При У; в (6); 
а 


< 
Фр+1, п == ба ых > Я пд е+т, т 


В реле. вес (6) примет вид 


Ррь инт — У а, ЕЕ Ч р+т, И. ы Е (7) 


Равенства (3) и (7) представляют собой систему разност-- 
ных уравнений первого порядка, определяющую вели- 


чины 011, +... брп ‚ Положим теперь 
г. 7. Ев 0 
а Ре 
й: = о , я О Ро ЕЕ , 
ба 6-9 в 
_] [ @ 0 Яап @эп. +: @р-1, п _| 
Г 42 — г 
Чзп ы 
Не > 
Чр+1, п 
ь . 
где О— квадратная матрица той же размерности, что и 
а,„, Чт», ..., @,-г.п» Все элементы которой равны нулю, 


а [— единичная матрица той же размерности. Тогда ` 
о (3) и (7) запишутся в виде одного уравнения 


а а 4 


Таким образом, мы получили. ‘линейную регрессионную: 
модель первого порядка. < 
_ 1.4. Нелинейные модели. Кроме линейных и нелиней- 
ных моделей авторегрессии, на практике встречаются. 
и более общие модели, описываемые нелинейными раз- 
ностными уравнениями вида 


Ут (У у,), т (8) ы 
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= 


х- 


-х 


где {®,! — последовательность известных функций, а {У,„!— 
последовательность независимых случайных величин. 

| К модели (8) приводится и о общая модель, опи- 
сываемая уравнением 


У +Р=0, (У, ых аи У,). 


Для этого достаточно ввести `последовательность векто- 
ров {2,}, 2, =[Ул...Ул-р- |", И добавить тождественные 
уравнения а Е в -1=У,„+р-, Которые 
можно записать в виде 2,41. 1= и», +. ., ина р-1 = Сыр. 
Эти уравнения вместе с данным . уравнением можно за- 
писать в виде уравнения (8) для последовательности 
составных векторов {7„}. 

В частности, уравнение авторегрессии (1). приводится 
таким способом к уравнению (8) при о, (у, о)=ф, (и + 
Еф, (и) 9. 

Построение моделей авторегрессии, а также некото- 
рых моделей типа (8) по экспериментальным данным. 
производится методами, изложенными в & 9.3 и 9.4 
(см. также [34]. 


$ 2. Оценивание величин, определяемых разностным 
уравнением -. 


2.1., Нелинейные модели в общем случае. Большое 
значение для практики имеет задача оценивания после-_ 
довательности случайных векторов {У,}, определяемых 
разностным уравнением вида (8), по результатам изме- 
рения на каждом шаге некоторых функций вектора У’. 

’Так как измерения всегда сопровождаются ошибками, 
то полученная в результате измерений последовательность 
случайных векторов {Х„} в общем случае определяется 
формулой 

Хеи,, И. (9) 


где {о } — последовательность известных функций *). 


*) В задачах практики ‘ошибки измерений обычно не зависят 
от случайных величин И» в уравнении (8) формирования последо- 
вательности векторов {У„}. Вследствие этого правая часть уравне- 

5 д 
ния (9) представляет собой функцию @п (У»„, И»), где {И„} — после- 
довательность независимых случайных величин, независимая от {И„}. 


_ Однако ®„(У„, Ир) и вп (Ур, И). можно „рассматривать как функ- 


ции Ув и составного вектора „ —=[иди н. Поэтому случай не- 
зависимых ошибок а и случайных величин в уравнении 
формирования векторов У, можно рассматривать как частный слу- - 
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| 


< 


> 


° Таким безо. возникает задача оценивания случай- 
‘ных векторов У,„, определяемых разностным уравнением 
(8), по результатам наблюдения случайных ЕР ХХ 
определяемых формулой (9). | 
Будем искать оптимальную оценку У„.: каждой ве- 
личины У,„.: в классе функций величин Х., ..., Х,, 
определяемых разностными уравнениями 7 


ее А)». (10) 


при заданной последовательности функций. у. и при 
всех возможных значениях б, и \,. При этом будем пред- 
полагать, что распределения всех случайных величин И, 
известны. В качестве функций 6, в (10) можно взять 
векторные функции любой размерности. Соответственно 
6, будут прямоугольными матрицами, а у, —векторами 
той же размерности, что У, и У,. 

Поставленная задача сводится к определению опти- 
мальных значений 6, и 1, при каждом п, при которых 
средний квадрат ошибки М|У,.:—У,„.:[ минимален. 

На основании сказанного в $ 9.2 задача определения 
оптимальных значений б, и 7, В (10) равноценна задаче 
нахождения линейной средней квадратической р 
случайного вектора У,„.: на случайный вектор Х„ = 
=, (У,, Х,). Следовательно, оптимальные значения 6, 
и 7, определяются уравнением (9.14) и р (9. 15), 
которые в данном случае имеют вид. 


6.К.=Ё, у =т 6, 1) 


где К.— ковариационная матрица случайного вектора 
Х» в аа и Х,) у 
К» =М К в Х„)— МЕ, Е - Х»)1 м о, Х,), 


[,—взаимная ковариационная матрица векторов У, +; 
И Х,=ё, = Х,), | 
[в = М (Уи: МУлз»ь) а (У. К," 


чай, когда координаты каждого “случайного вектора ИУ„ распадаются. 
на две независимые группы, от одной из которых зависит функция. 


©, В (8), а от другой —функция п в (9). 
*) Для любых случайных векторов 2 и 0 Ки= М200‘Т = 
— М2 (И’—ти)= Мрт | 
399 


м т, И. [. — математические ожидания векторов Тны п и 
= (7, Х. в) соответственно, 


т „= МУ, +, — м, (7. Х»). 


Соотношение (9.10) й вытекающее из него соотношение - 


`М (7—У)У* —9 в данном случае дают 


= _М т - Е Са ©... Хх и) == 0, М (+1 Ул) рт. - —0. 
(12) 


Для определения К», Г„, т, и 1, достаточно знать 


‘совместное распределение величин У, и У, при каждом п. 
Действительно, подставив в формулы для К,, [,т, И [, 
выражения величин У„.; и Х, из уравнений (8) и (9), 
получим ^,, [,, т, и [, как математические ожидания 
некоторых функций случайных величин У,, Уи У. Н6 
и у. являются определенными функциями величин 
р ..., И/-1В СИЛУ уравнений (8)—(10) и, следовательно, 
_не зависят от И,. Поэтому для вычисления К‚, [„, ть и [, 
достаточно знать совместное распределение величин у. 


и У, и распределение величины У., которое по предпо-. 
ложению известно. ы 


‘Чтобы определить совместное распределение величин 
У, и У., достаточно ‚найти их характеристическую функ- 
ЦИЮ 

г. Т 
д, (®, к) = Мехр {1 У, + У „}. 
Для этого подставим сюда выражения У, и У, из урав- 
нений (8) и (10) с заменой п на п—[Г и после этого 
’ подставим в полученное выражение величину Х„-; из 
‘уравнения (9), заменив в нем п на п— 1. В. а 
получим 


6 (^ и) = Мехр {1А7, ба —. АЕ 
-- дат [6, = Е >} "1 (У„- а - И.Е. (13) 


Правая часть этой формулы представляет собой математиче- 
ское ожидание известной функции величин У, _ т. И: = 


причем У _ги У, _, в силу (8)—(10) независимы отИ,- 
’Поэтому- для вычисления характеристической функции 


_ 2, (^, и) величин Уги Я, достаточно ‘знать характери- 
стическую функцию &,-, (^, и) величин Уи ее И 


400 


2—= 


распределение величины ый _ м которое по предположению 
известно. 


Таким образом, формулы (11) и (13) определяют ре- 
куррентный процесс, позволяющий находить на каждом 


- шаге с,, 8, и 7, по известным &,-1, 9-1 И 7, -1. 
_— Чтобы начать рекуррентный процесс, необходимо за- 
дать совместное распределение величин У, и, (началь- 
_ное распределение). 

Если распределение величины К (независимой отУ,) 
известно и определяется характеристической функцией 


| . (А), можно принять за оценку У, математическое ожи-. 
дание т, величины У, У, =т,=ЛМУ,, и определить _ 


совместную характеристическую функцию. У: и = ‚Фор. 
_мулой 


а 81 (^,, и) -& (А) сыты, 


Можно также определить оценку Г, как случайную ве- 
личину с выбранным произвольно распределением и 
принять ‘ р: | 


В -ь®ь в) — 


где |. (1) — характеристическая. функция величины У’. 

Если распределение величины У, не известно, то его 
приходится задавать произвольно. После этого началь- 
ная характеристическая функция в, (А, и) ое 
так же, как и в предыдущем случае. 


Так как величины Х,„ не входят в уравнения (11) и. 


(13), определяющие 6,, 1, и в, то все последователь- 
ности величин {0,}, {5 и 1)! можно вычислить изло- 
женным методом заранее. Тогда процесс оценивания по- 
` следовательности величин. У»! ‘сведется к применению 
рекуррентной формулы (10). ` | : 

_ Изложенный метод оценивания случайных величин У, 
определяемых разностным уравнением (8), в силу свойств 
линейной оценки регрессии со сдвигом дает несмещенную 


оценку У, каждой из величин У, при п>1 (оценка У, 
выбирается произвольно, вследствие чего она может быть 


` -смещенной). 


Точность оценки. У, можно- характеризовать вторым 
моментом ошибки 


Ю,=М(У. 70: ут) | 
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или средним квадратом ошибки — 
=М ГР а У) (2. аи = Ва 


_ которые определяются характеристической функцией 
с, (^, и). Можно также находить доверительные области 
для. У„, поскольку 2, (А, и) полностью определяет сов-_ 
местное распределение величин У, и У,. 
Изложенный метод дает условно оптимальные (опти- 
‚мальные в данном классе функций) оценки величин У, 
при любых функциях &,. Однако качество получаемых оце- 
нок зависит от того, как выбраны функции &,. Естественно 
рассчитывать на то, что достаточно хорошие оценки 
можно получить, если выбрать функции &, так, чтобы 
уравнение (10), определяющее оценки, было близким по. 
форме к уравнению (8), определяющему оцениваемые 
случайные величины. Других рекомендаций о выборе 
функций б, пока еще дать нельзя. Вопрос о рациональ- _ 
‘ном выборе 5, нуждается в дальнейших исследованиях 
[81, 82]. 

Пример 1. Последовательность скалярных случайных величин 


{У} и последовательность наблюдаемых случайных величин {Хи} 
определяются уравнениями з 


Ут+1= (Ув И»)°, | Хь=У,-Н И» 
где {У„} и. {П„}-— независимые последовательности независимых 
случайных величин с нулевыми моментами первого и третьего по- 
рядков. Найти оптимальные рекуррентные оценки величин У», 
удовлетворяющие разностному уравнению первого порядка 
= Ул =0. [в УХ, -7У») (ХУ - Уп. 
Выбор в качестве 6„б„ квадратичной формы переменных 2. иХн а 
в данном случае естествен, так как при этом уравнение для оценок 
получается похожим на уравнение, определяющее величины У», 
вследствие. чего можно надеяться получить достаточно точные 
оценки величин Гн. 
Оптимальные ‘коэффициенты би И п определяются. в данном 
случае формулами (11). При этом’ получаем следующие формулы 
п 
для элементов матриц [и = [1 2" 1] ик, = [9] и для мате- 
матических ожиданий ти И [,: 
1") = МУи7п— МУлМУ", ры 
17) — МУЗ? — МУЁ МУ, 7, — 1, 
п 2 
8 = МУп— (МУл)— — 217, 
Ви = М7 — (МУ?)?, 
(п уз 2 
К) = МУ, — МУР, МУ— о, 
Е ОФ. 
Ро са (п) (п 
55 — МУ? РМ. РЕН МРОТ. 


р" 
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ра 


ве же и 


ИО ФМ — ЗВ — и Р-Н, МУ, а 
БДО КЕ до ты НЫ 23) — 4 р А Е Ни Ни 

хо з 

ти= МУ п-- т 
/ „=[ МР МУ,?,—МЯ* МУ МР? —2МУ „Р-НЕ 

где Н, и С,„— дисперсии величин И» и У„ соответственно, а >. 
четвертый момент величины И». В случае нормально распределенных 
величин Ив Н,=З3ЗН*. Для вычисления вторых и четвертых момен-_ 
тов величин Уни У» в полученных формулах достаточно знать сов- 


° местное распределение величин У’ и У». При этом моменты можно х 
_ ВЫЧИСЛЯТЬ ИЛИ дифференцированием характеристической функции 


8, (№, и) величин Упи У„, или интегрированием, считая известной 
плотность 


1 Ф ©® ее 
Гл (9, ре ) \ ета (А, р) а аи 


величин Ум и У: 


9? [*.2) |”. 
МУ, =— } а 1. \ р ут» (и, п) ау ат, 
: да © © 
Ея | 5 | = | | ИГ, (и, п) Чу ам, 


} .. да г: © | т 
му! = | |= | | У[ь (у, п ауат, 


; 


|.) 
м ь 
\ У’/» (у, 1) 4уа\, : 


\ у, (у, п) ау ам, 


я _д4 ф 
МУР? — [ет | = | 

т 94 | [® [› : 
МУ, п т | д^, ет | КЕ | | УПЗГ а (у, 1) ау ат, 

: -® -® 

> 94 ©) [2 

МР! | ыы" | = й | ар, (у, 1) ауат, 
-©--® 


8 


где индексом 0 внизу отмечены значения величин в. РЕН скоб- 
ках при А=и=0. 

Уравнение (13) для характеристической функции 9» 6, №) имеет 
в данном случае вид 


в, =) \ | | ер{ -о+ 
Е (би-ь 0 (ии) (им ии у -1)} Хх 
-Х [= : (у, 1) Ри-т (9) 9.-= РИ 


где рн- ©) и 9и- : (и) — плотности величин и. * ги О, _1 соответ- 
ственно. 

Полученные формулы а Ы рекуррентный процесс для 
последовательного вычисления би, [и, би и 7. 

_ Аналогично решается задача экстраполяции (прогноза) 
последовательности {У,„}, т.е. оценивания вектора У,„+ р 
после получения наблюдения величины Х, (р> 1). Для 
экстраполяции на р— | шагов следует ее а. 


ее векторов У, уравнением _ 
Е, — 0, 02 те в: Х,„) Е 


При этом все предыдущие выкладки останутся практи- 
чески неизменными. Только для нахождения К, [.„, т, 
РЁ. В. (11) необходимо будет определить совместную 
_ характеристическую функцию а, (Л, ми, ..., И») случайных _ 


векторов `У-- У. 2... У„+р-:. Эта характеристическая 
функция определяется ‘совершенно. так же, как в, (^, п) 
в рассмотренном случае `[81, 82]. | 

Заметим, что изложенный метод дает также возмож- 
ность оценивать не все координаты векторов У’„, а только 
часть их. Для этого достаточно взять функции &, (и, х) 
(или 5, (/:, ..., У» Хх) в случае экстраполяции), завися- 
щие только от соответствующей части координат век- 
тора у (1, ..., У, в случае экстраполяции). 

2.2. Нелинейные модели авторегрессии. Рассмотрим 
частный случай нелинейных уравнений авторегрессии, 
когда уравнения (8) и (9) линейны относительно вели- 
чины У,. В этом случае 


о, (=, (ФФ 94, = +8, 09. 


где ф‚, ф,, Фи и ф, — известные функции. В этом случае 
естественно выбрать функции &, в (10) так, чтобы урав- 
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нение (10) было линейным ‘относительно Хит .е. принять _ 


Бо ьюг 09 — 


и соответственно положить „= [„ В, |. 
Уравнения (8) и (9) имеют в данном случае вид 
Уннг = Ф» (У„) Еф, (У,)И,,. (16) 

_Хв= Фа (У „) Фа (У) И,, (17). 


а уравнение (10) можно записать в виде - 
ен ве „Е (У) Е Вы, (У,) Х, -Е \». (18) 


Матрицы К,, Г, и векторы т, и [, определяются 
при этом формулами _ | 


хо и А Го. 
к. = | *® ее , Ги = [хи р | | Г. | | 
де 
хр = М [$, (У,)— Мф, (У), (У), 
х® =М [4, (У„)— Мф, (У,)1 $ (Ут и, (РТ + 
-- Мф, (. ) би» (У а. у, 
жр = М [Е, (Р„)— МЕ, (РЕ, (У), ы 
сир = ит = М [Е (Р,) — МЕ, (У) Фа (Ут, (РТ, 
хз? =.М [1 (У) а (У) — Ми, (У) Фа (У ФС), 
-- Ми, (У„) фл (Уз) бин (У) м, (Ут, 
т, = Мф, (У,), — а | 
д. = МЕ (Р,), = Ми, (7,) ва (У). 
Подставив выражения матриц К, и Г, и д, = [4 -В, | 
_в первое уравнение (11), получаем уравнения для опти-_ 
мальных значений &, и В, в (18): 
в „р -Н В, хо =, а 
ое 
`Подставив выражение вектора [, и 6,=|“, В,|. во 


вторую формулу (11), Е формулу для оптималь- 
ного значения у,: 


у. = т, — 9, — В 159. - — (20). 
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Положив в (12) &(7,, Х,т=[Е, (7,)" Хи, (7,1, 
получим соотношения 
Мани И 
М био Ха т, (У„)'==0. 
Второе соотношение (12) при этом не изменится. 
Подставив выражения (14) и (15) функций ®,„, в, и, 
и 6,-,=[%,-, В,-:| в уравнение (13), получим 
бп (^, и) ет М ехрй” [Ф,-: У) Фи -: ны У 1] -Р 
-Е т [6-18 - :(И»- ЯР. Ч (У н- Фя- = ‚+ 
-- В, - 1 - Е - 1) И ЕР 


° Но, как уже. отмечалось, величины УГ и У, _, незави- 
симы от И,_,. Следовательно, условное математическое 
ожидание | 


М [ехр {1 [7ф,-, (У„-1)- 
ит „- а уфы 1 У, а Г› и 


совпадает с безусловным математическим ожиданием, 
представляющим собой значение характеристической 
функции йЙ,-,(^) случайной величины У,-; при ^' == 
== фа Ее 9 А-ф,- пе 1)" „- (и. ‚ти. Учитывая это, 
можем написать уравнение для характеристической функ- 
ции ©, (^, в) в виде 


8» (^, в) = МА, - 1 (Ф,- ие Аи ба Ме 1х 
х (:- ув. 11) ехр АТФ, - а у -Нйлт [ое - а те 1) =. 
нат. (2: Фи (У -У,-Е (22) 

Уравнения (19), (20) и (22) определяют рекуррентный 
процесс для последовательного вычисления ©, &,, В„, 7, 


по известным #,-:, @,-:, В,-» 7Т,-:. Для начала про- 
цесса необходимо задать характеристическую функцию 


‘с, (^, в) величин У; и У.. Это делается ‚совершенно так 
же, как в общем случае п. 2.1. , 

В случае экстраполяции последовательности {У„} на 
р—1 шагов рр тение (18) заменяется уравнением | 


Ура, В, 5 3 т - ,) ЕВ п в. ..., Урны -иХ, 4: 


`Для определения коэффициентов х в уравнениях (19) 
и величин т, 1 и 12”). в: формуле (20) необходимо в 
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(21) 


/ 
общем случае знать совместную характеристическую 
функцию 2, (Л, ц.,..., и,) величин У Рин 
Формула для этой характеристической функции ВЫВОДИТСЯ _ 
совершенно так же, как (22) |81, 82]. 

Относительно выбора функций &, и 1, можно дословно 
повторить все сказанное в п. 2.1 о выборе функции &,. 
Однако` в некоторых случаях целесообразно потребовать, 
чтобы уравнение’ (18), определяющее оценки, было ли- о 
нейным и оценивание). В таких ая следует. 
принять Е, (УИ (Е, Ур) = ИР .-- 98] всдучае 
ЩИ —_ (у) = Г. 

2.3. Линейные модели авторегрессии. Рассмониим как 
частный случай задачу линейного оценивания случайных 
величин, определяемых линейной моделью авторегрессии 


Ре ее ба Е Я по Е ыи, (23) 
по результатам наблюдения последовательности случай- 


ных величин 
- ХК = ВУ, Ни ФИ - | (24) 


В этом случае оценки У, векторов У, определяются 
уравнением. 

У, =а,У, ВЫХ, +. : 

Для нахождения оптимальных значений &%&,, В, и \, 

надо положить во всех формулах : 2.2 ф„ (у) =ау-а,, 


Фи (У) =6,у--6, 5, (у) =и, 1, (и) =Г; а ф, и фь считать 
постоянными. Тогда получим 


жа =а,„М (У„— МУ,) Ут =а„К уз,» 
хо =а,М (У, — МУ в) (Уля 6 ут 40 „фи = 
—=а "Ав - ф,С „Фи» 
хр =М(У,—МУ,)УГ=К», ее 
ХО =иФТ = М (У.— — МУ И: = А у бе 


«В.М (у, — МУ, (ТЫ +64) 4+40 ды р - 
7. =6 „Куб + С. го ‚ 

ами ра МР, 15 = 6, МУ, -Н 0», 
где Ар., В те и К;,„—ковариационные и взаим- 


-ные ковариационные матрицы векторов У, и У,. Соот- 
ношения (21) в данном случае имеют вид 


М К 1-0, М (+1 Ун+) ХЕ 0: (25) 
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№ 


‚= 


ы —- К; -!- В.б.К ;, а,К.. 


Второе ‘равенство (12) после замены ий + | на п дает 
_ М, У ‚)У1-М(: У) 7:-Ку-К - =0.. 


Упуп 
} Следовательно, К =. ОВ и в силу симметрии матрицы‘ 
К; К; =Ку у =К;. На основании этих равенств и 
УпУуп Упуп 


полученных выражений для коэффициентов х;; уравне- 
ния (19) для оптимальных значений &, и В, принимают 
ВИД 


а ее „бт В» К ие С) —а Кыуа п Бы ее. | 
Эти уравнения легко решаются. Вычитая ‚первое урав-. 
нение (26), умноженное справа. на матрицу рт, из второго, 
‚получаем 


В» В» |6. = т: Эа „фи а о 
— @, ((К,,— ры ‚) 8» би. 


— 


Заметим теперь, что в силу равенств К у,=К;„=К»:, 
п 
МУ, =МУ, величина К,,—К- представляет собой вто- 


Уп 
рой момент ошибки К,. Действительно, 


В, =М(Р,—У,)(1— ут) =М(7— у‘) ($7— ут) = 
| я = А. —^; Ки, Ки = Ки — Ку, 


Упуп 


Следовательно, уравнение для оптимального значения В, 
имеет вид. 


В, (5, К „бя - ф,@ и\и ) =, К „т ф,б п ра ы 
Решая это уравнение относительно В,, находим 
В = (а„В,6Т + 4, бы”) (6, В, Е бГ)-1. (27) 


Заметим, что матрица 6,Ю,„6; в задачах практики 
‚ всегда _ ‘обратима, так как ее необратимость равноценна 
существованию линейной функции вектора ошибки Е 
с нулевой дисперсией. Это означало бы, что соответст- 
вующая линейная функция вектора У,„`могла бы быть 
оценена абболютно точно, что невозможно. Тем более 
обратима матрица 6,К, БТ +6 „ф„“. Поэтому формула 
(27) всегда определяет оптимальное значение В. 

После определения В, первое уравнение (26) дает 

ь„=а,—Р,6, при условии, что матрица Ку, обратима. 
> условие тоже ПТИ выполняется в задачах прак- 
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тики, Так как в случае его невыполнения существовала 


бы линейная функция вектора У„, оценка которой имела 
бы нулевую дисперсию; что невозможно. < 
_- - Подставив полученные. выражения @,„, т, А 


в (20) и учитывая, что МУ, = МУ, Ола оптимальное —— 


‚ значение ф,: - 
37 й У —- т 

= а„М} п =. аб В» (6„МУ, -Е Оо) — Ч — В ыбь- 
Наконец, подставив найденные выражения „и 


в уравнение, определяющее оценки У,, приведем его 
к виду 


я «= а Е Что ЕЕ В, (ХВ, — о). (28) 


Осталось написать уравнение (22) для характеристи- 
ческой функции 5, (Л, и). В данном случае оно имеет вид 


в.в, ФА Вл. вх 
Хх и 17 п- = -Ъ о) 
щ” (ое, - т п- :-ЕР,- _ 10 п-т а -1-На,-1, 0} = 
= 1 (л-А. фи ава -ць) ехр {1 (АТ - р?) Чит, 5 Х 
хМ ехр {1 (а, -, +ы'В,-18,-1) Ка РИ вен - 
или - о 
8" (^, в) = и- (ат. Ал Во) х Е 
х ехр {м-р а, -1, 0} Виа (ЧА ви ‚Ви-ца, Чл). 
Из этой формулы легко выводится рекуррентная формула 
для характеристической функции 5, (^) ошибки У,„—У,. 


Заметим, что ео 

8 (1) = Мехр {1 '(7,„—У,)} = в, (— в, в), 
положим в. формуле для ©, (Л, и) А=Ы—ы. Тогда, учиты- 
вая, что Е ар р: пы ыГ. щи что _&,- г (— 9. о 


би- Г = 1 (и и), получим 


8п (и) ых (риа Ви п — фи 1) и) 8" - 1 (и: 16). 


Эта формула полностью определяет распределение ошибки 
У,—У,„ на каждом шаге и, следовательно, дает возмож- 
ность находить доверительные области для У,. . 

Из формулы для характеристической функции 2, (и) 
ошибки легко выводится разностное уравнение для вто- 
рого момента ошибки с Для этого достаточно дважды _ 
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Ее ИЕ 


| продифференцировать ‘формулу для 2, (и) по в и поло- 
жить после этого и=0. Предоставив выполнить это. 


читателю, мы дадим здесь другой вывод уравнения для Р... 
Вычитая уравнение (23) из уравнения (28) для оценки 
и заменив Х,„ его выражением (24), получаем для ошибки 


У, =У, — У, уравнение | 
У, +: = (а, —В,6,) 7, + У, = (9) 


Отсюда, принимая во внимание, что У, и У,, а следо- 


вательно, и У., не зависят от У, и применяя формулу. 


(3.50) для ковариационной, матрицы линейной функции 
случайного вектора, ‘получаем < 


Виа, —В,6) В, (ат втВт) + 


Раскрыв в каждом слагаемом вторые скобки и пользуясь 


формулой (27), определяющей В,, можно привести полу- 


ченное уравнение к виду 
| Ка ст (а, а В,б„) Кная Ж (р, — Вы») Сил. (30) 
Это уравнение вместе с формулой (27) для В, определяет 


рекуррентный процесс для последовательного вычисления 
матриц А, и В,. Характеристические функции ошибок 


8, (в) при этом можно не вычислять. Они могут понадо- 


биться лишь для чения доверительных областей 
для У,. : 

| Определяемая уравнением (29) оценка У. +! при каж- 
дом ий оптимальна в классе линейных функций (со сдви- 


гом) величин У, и Х,. Докажем, что она оптимальна и 


‚в более широком классе линейных функций величин 


УХ, 0... Согласно результатам п. 9.2.5 для этого 


‘достаточно показать, что для У,., выполняются соотно- 


шения (9.11), которые в данном случае имеют вид 


М (Уна — Уна) ты 0, М (Уна — Ув) Хр = 0 
(р=1, И 


Подставив в эти формулы выражение У, ,/—У „+= Уч 


из уравнения для ошибки (29) и приняв во внимание 
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независимость И, от У,, Х., ..., А„_ч» Получаем 
$ УТ у ИТ 
М Син) у, из в — В,б н) М 9, ЕЕ Уз, 
М =. р я (а = ) М 0. У. п) Хр | 
В оу п 1). 
Из этих равенств и второго соотношения (25) следует, 
что оценка У, -, оптимальна в классе линейных функций 
‚величин МЕ А еси ЛИ оценка У. оптимальна в 


классе линейных функций величин У... р ЖЖ 
А так как оценка у. =а.У, а, -Е В, (Х, —В7,—в,) 


оптимальна в классе линейных функций величин УЖЕ. 


то и при любом п оценка Уна оптимальна‘ в классе 
линейных ‘функций величин к - 


Более того, если все величины ИУ, и величины У. и У. 


распределены нормально, то и величины а т Хх. ы 
., Хот. При любом п имеют совместное нормальное 


распределение. В этом случае оценка У,., совпадает. 


с регрессией У„., на У, Х,, ..., АХ, и, следовательно, 
оптимальна в классе всех функций величин У’.,“Х.,.... 
..., А„+1 (абсолютно оптимальна). 
2.4. Фильтры Калмана. Изложенный метод линейного 
оценивания случайных величин, определяемых линейной 
моделью авторегрессии (23), разработан Калманом [33]. 
Поэтому ‘автоматические 
системы, реализующие вы- 
числение оценок, опреде- 
ляемых уравнением (28), 
обычно называются а: 
рами Калмана. 
Построение фильтра Калмана по данной модели фор- 
_ мирования последовательности {Х„} можно представить 
наглядной схемой, если. воспользоваться обычным в тео- 
рии ‘управления способом изображения систем и их сое- 
динений, указывая линиями ` со стрелками. ‚направление 


Рис. 35. 


передачи сигналов. На рис. 35 прямоугольником .с. бук-. 


вами МА показана модель авторегрессии (23) со стрел- 
ками, указывающими входной сигнал У, и выходной. 
_ сигнал У„.,. Из сравнения (28) с (23) видно, что та „же 


модель (23) будет давать на выходе последовательность 


оценок {У„}, если вместо {У„} подать на ее вход после- 
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г: 


о Е Вене 


— 


 довательность {В,(Х„-—В.У,—6,,)!. Чтобы осуществить 
это, следует выходной сигнал У„+, подвести к входу по 
_ Цепи обратной связи, содержащей устройство, осущест- 

_вляющее умножение У, на 6,*). Перед входом в модель. 


(23) величина 6,7, должна вычитаться из соответствующей 
величины ХА„—В, и разность должна умножаться на 
соответствующий коэффициент В,„. Результат этого пост- 
роения показан на рис. 36. Кружком, разделенным на 


^ 
пб 


_квадранты, показан сумматор. Зачерненный нижний 


квадрант перед суммированием изменяет знак поступаю- 
щего в него сигнала (отрицательная обратная. связь). 


Прямоугольниками внизу и после сумматора показаны. 


устройства, выполняющие умножение на матрицы 6, и В, 
соответственно (усилители с коэффициентами усиления 6, 


и В, в общем случае матричными). Входным сигналом о 


построенной таким путем системы служит последователь- 
ность случайных величин {Х,„— 6, 

Таким образом, фильтр  Калмана получается из ис- 
ходной модели авторегрессии (23) замыканием ее отрица- 
тельной обратной связью, содержащей усилитель с коэф- 
фициентом усиления 6,, 
другого усилителя с коэффициентом усиления В, и по- 


дачей на вход полученной таким путем системы после- 
довательности случайных величин {Х,—6.} (рис. 36). 


Коэффициенты усиления 6, и В,, очевидно, в ‘общем 


‘случае будут: переменными, т.е. будут изменяться на 


каждом шаге работы модели. 


*) Предполагается, что время прохождения сигнала по цепи 
обратной связи равно длительности одного шага (такта), так что 


к моменту появления на’ выходе величины Рича по цени обратной 


‚связи идет предыдущая величина Р- 
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установкой после сумматора 


ПРИРОСТ 


ХК 


т 


п ример 2. Последовательность: величин {У} определяется. 
моделью авторегреесяи - 


Увы а1Е от -Ё а и И. 


Построить фильтр Калмана для оценок величин У„ по результатам 
их наблюдения с ошибками, образующими последовательность неза- _ 


висимых случайных величин {И„}. 


‚В данном случае Х,=У, О». Для решения задачи НРОбХОЛИИО: 


сначала привести модель, формирующую_ последовательность {У„}, 
к модели авторегрессии первого порядка. По формулам п. 1.3 нахо- 
дим коэффициенты 911, 92и И 03и: 


911 ==62, п-2==0, 921 =61, п-1-- @1, п- —191п = 1, п-1› 
Ч3п = Бол Чояд1и 1 @ляЧзи = бол-- лв, п-1 
После этого находим ЕЕ а 
18 = Ух» 21, п+1 == п 81, п-т Ил. 
Вводя векторы =‘ | 
У Ре: Е м = : 
ее 
— У 1+1 — 1, пл Ин г бов - 6, п-1 Е 


2 


получим разностное уравнение первого порядка 


= 
Во [а аи | 2 = 


Уравнение, определяющее наблюдаемые величины, принимает вид 


„=[1 012. 0,. 
Ковариационная матрица К» вектора №, выражается через ковариа- 
ционную матрицу Н» вектора Уп формулой (3.50): 


< 


к #—3 = 
= Ни [7 ИНЬ 


Так как №, =[10] [т от. И. =[0 ПУХ т то в дан- 


ном случае ар, =|[/ 0], фи = [0 1]. Ковариационная матрица вектора 
16 а играющая роль матрицы С), в общей теории, имеет. 


в данном случае ВИД 


Уравнение (28) в данном случае имеет вид 


нь (| и |= Ны и) ьнвых. Е 


Яя : Я1 п 
где на основании (27) 


рь р г в, о] (м 0] р, [|6 


= 


№7 
д 
3% 


ВИД 


то г | И о] К, [1 ны К. 


Обратим внимание-на то, что в данном случае фильтр Калмана 
дает не только оценки интересующих нас случайных величин У», 
но еще и оценки величин 25„=Ун+1— 641, п-1Ил. Это будёт всегда, 
когда исходная модель авторегрессии выше первого порядка. Однако 
в общем ‚случае эти оценки бесполезны из-За наличия в них вели- 
чин Ур. Поэтому их обычно не используют (не выводят на выход- 


‘ные устройства ЭВМ). И лишь в частных случаях эти дополнитель-. 


ные оценки могут быть полезными. Так, например, если 6:„=0 при 
всех. п, то Ди =Унт и, следовательно, фильтр Калмана дает, кроме 


оценки Р.. и оптимальный прогноз на шаг вперед величины У 
метим, что при этом Ри ТьтО: 


2.5. Обновляющие последовательности. Обратим вни- 
мание на то, что модель (28) фактически использует для 


формирования оценок У, не саму последовательность 
наблюдаемых величин {Х„\!, а последовательность некор- 
релированных случайных величин {Х,—ВУ,—В\*). 
Эта последовательность получается в результате вычита- 
ния из каждой величины Х, ее оптимальной несмещен- 


ной линейной оценки Х„, полученной по результатам 
наблюдения предшествующих величин р Е. 
этом от каждой величины Х„ остается только та часть, ко- 
торая не может быть линейно выражена через Хт,... и 2-7 
и поэтому содержит новую информацию по сравнению 
с полученной ранее в результате наблюдения Х1,..., Х„-1. 

Последовательность некоррелированных случайных 
величин, полученная из данной последовательности пу- 


тем вычитания из каждой величины ее оптимальной 
линейной оценки по результатам наблюдения предшест-_ 


вующих величин, называется обновляющей последова- 
тельностью. Пользуясь этим понятием, можно сформули- 
ровать` полученный результат совсем просто: последова- 


тельность оптимальных оценок {У„} определяется той 
же линейной регрессионной моделью, что и последова- 


*) Из (24) следует, . что И,» =Х,—В Я, — =, ЕТ 
А фиУ Отсюда, принимая во внимание, что У, —У, и ИУ, не /кор- 
релированы= ©: 7; Ха, с., Хы, заключаем, что каждая величина 
№, не коррелирована с т Х икьз Ант, а следовательно, и с Е 


при р=< п, поскольку ‚2% является линейной функцией 7,, Аура 
..., Ар-1. Следовательно, каждая величина „ не коррелирована 
с М), ри р < п. 
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а о определяется уравнением (30), которое В данном т имеет _ 


тельность {У}, с заменой последовательности {У,} обнов- 


ляющей последовательностью {Х,—6,У,—655}, каждый 
член которой должен быть умножен на ‚ соответствующий 
коэффициент В. _ 

2.6. Приближенное решение нелинейных задач оцени- 
вания. Метод п. 2.1 и п. 2.2 дает точное решение задачи 


нахождения условно оптимальных оценок хе. векторов Е 


минимизирующих средний квадрат ошибки УТ В 
при условии, что они удовлетворяют разностному урав- 
нению данного вида:Однако полученное точное решение 


задач нелинейного оценивания требует весьма громозд- 
ких вычислений, связанных с определением на каждом. 
шаге характеристической функции &,. Поэтому большое 
практическое значение имеет разработка приближенных. 
методов: вычисления характеристических функций с, (Л, и) 

и соответствующих плотностей 


м а | 
о, лия) еб д, вар 


(т— ‘размерность векторов У, и У,). 
Для приближенного определения характеристических 


_ функций ©, и соответствующих плотностей |}, можно 


предложить следующий прием: заменить неизвестную 
функцию ©, (^, и) некоторой вполне определенной функ- 
цией с(Л, и, 0,), зависящей от конечного числа неиз-. 
вестных параметров, образующих вектор о,„, и вывести 
из уравнения (12) соответствующие приближенные рекур- 
рентные формулы (разностные уравнения), определяю- 


щие последовательность значений неизвестных парамет- 

ь | 

ров {0„} *). 

Заменив ©, (А, и) функцией 2 (^, в, 5). ‚и плотность. 

(и, у у) соответствующей плотностью | (у, у, 6 „-1), заме-_ 

ним формулу (12) приолименной формулой 
© [2] ©.) 


2, и, 0,)= \ ( Сер алы (у + 


—© -х -х 


+" Ю„- она ‚ (9, Фи 1 (и, 0) т»- < 
Х В,-1 (6) (4, у, 0, _,) в ауау, 1. 


_*) Эта идея принадлежит В.И. Демуху, который положил се 
в основу разработанного им приближенного метода анализа точности 
нелинейных ‘систем («Автоматика и телемеханика» 1565, №6, 
с, 1021—1025 : 
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Отсюда ‘дифференцированием # по Ллици приравниванием 


№ и р нулю можно получить в: формулы 
для моментов случайного вектора [Ул ЕЕ: 


: ы де +.- ЕК... т ^ 
п 2 ь 
С, = А т, 1, < Е УЕ .д (Ил ’т 8 (Л, Ц, 0 5 


где индексом 0 внизу отмечено значение величины в 


квадратных скобках при Л=и=0. Учитывая, что эти 


_ моменты зависят от в9,, напишем полученные прибли- 


 * 


женные формулы для моментов в виде 


(п) 
о сы = 


= я | оА—.. дни" ХР, 1 (и. ОЕ. 


5 Об 6 ВЮ. 


т [6,-,5,-1 (9, и, (у, +, || х 


| Хх р,- 1 (6) (у, у, 0 а, =) фо ауау. (31) 


Взяв столько таких уравнений, сколько координат имеют. 
векторы о, И 0,„-:, получим систему разностных урав-. 
нений для приближенного определения последователь- 
‘ности векторов {0„}. | 
В частном случае, когда о, представляет собой сово- 


купность моментов вектора [ут РТ]т до порядка г вклю- 
чительно, 0,„=0”), уравнения (31) дают рекуррентные 
Формулы длЯ приближенного вычисления моментов: 


9 Но Ат Ы +... т 


г НЕЁ | 
(п). УИ 
[@2 = = х 
и: хо Вт» И нь 1 =} | р |: ((А1)^1. ..0 (т) Гт 


х ехр 1116, _, (у, о-щ! [0 а 9,1 (9, 0) + 
ть Ры-1 (©) Ё(у, у, ии") 4 = 4 


и 


Е... Ра Е. 257. 


Пример 3. Заменив в уравнении для би (^, в) примера 1 


ПЛОТНОСТЬ д 1 (и, 1) нормальной ПЛОТНОСТЬЮ, определяемой первыми 
(и-—1 п-1 (п-1) п-0 п-р) 
и вторыми моментами (19 ‚- я т 020 451 ‚ 902 ‚ Получим 


изложенным методом пять рекуррентных формул, определяющих 
(п п п (п (11— 
приближенно моменты 000, 9, а), ор, об’ по известным ош ,, 
—1 —1 п-1 п-1 
о, о, и —, > °. Эти формулы можно вывести значи“ 


— 
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тельно проще; взяв все первые и вторые производные по лиц 
выражения для &„ (А, и), положив после этого А=и= О и выразив 
в полученных формулах все моменты выше второго порядка через 
первые и вторые моменты по формулам для нормального распреде- 


ления (п. 4.5.3). Все моменты в формулах для оптимальных значе- 
С п п п п 
ний б, и 7„ выразятся при этом через обо’, бар, або», ода’, 02, 


так что необходимость определять эти моменты по формулам при- 
мера | отпадает. Момент второго порядка ошибки 7» —У;, в этом 
случае И зы в 


5 А, 
К» = 000 — ба Г 


_2.7. Оценивание неизвестных параметров в разност- 
ных уравнениях. Метод п.2.[ и п. 2.2 дает возможность 
оцейивать случайные величины, определяемые разност- 
ным уравнением, и в том случае, когда функции ©, и 
©, В (8) и (9) зависят от конечного числа неизвестных 
‚ параметров (конечномерного векторного параметра). При 
этом оказывается возможным попутно оценивать ‘и неиз- 
вестные параметры. 

Предположим, что функции ©, и ©, в (8) и (9) (функ- 
ции ф,, 1, Фи и 1, в (16) и (17) в частном случае п. 2.2) 
зависят от неизвестного конечномерного векторного пара- 
метра 9. В этом случае уравнение (8) и формулу (9). 
` можно написать в виде 


У = У 9, у,), Кв = Не 6, У). 


Поставим задачу найти оптимальные оценки Я, и ©, 
вектора У, и параметра 9 на каждом шаге, определяе- 
мые  разностными уравнениями вида (10) по результатам 
наблюдения последовательности векторов {Х„}, т.е. задачу 
одновременного оценивания векторов У, и неизвестного 
‘параметра 0. 

Подобные задачи -обычно решаются. сведением ИХ 
к задаче п. 2.1] с полностью известными функциями ©, 
и ©,. Для этого заменяют неизвестный параметр 6 после- 
довательностью случайных векторов {©9,}, 9,=6 (распре- 
деление каждого. из этих векторов сосредоточено в одной 
точке 9). Очевидно, что введенная таким путем последо- 
вательность векторов {©,! удовлетворяет разностному 
уравнению 9,.,=0,. В результате уравнение формиро- 
вания последовательности векторов {У„! заменится си- 
стемой разностных. уравнений 


Уна = 0, (У, 9», У,), 0©,+:=60,, 
14 В. С. Пугачев | | 417 


ра 


а ‘формула, ‘определяющая последовательноств наблюдае- 
мых величин {Х,„}, заменится формулой | 

Хы, (Уз, 9, И): 
Полученные уравнения формирования последовательностей 


векторов {У„} и {9,„;} можно записать в виде одного уравне- 
НИЯ т (8) для последовательности составных векторов 


{2}, 2,=[У7 9, |7, с полностью известными функциями ®,, 
а формула для Х„ представляет собой формулу (9) с за- 
меной вектора У„ составным вектором `2,=[Ух 9, |7 


_ с полностью известной функцией ви. 

Таким образом, задача одновременного оценивания 
величин, определяемых. разностным уравнением, и неиз- 
вестных параметров в этом уравнении сводится к задаче, 
решенной в п. 2.1, путем введения составных векторов, 
каждый из которых включает все координаты соответ- 
ствующего вектора У,, определяемого разностным урав- 
_нением, и все неизвестные параметры в этом уравнении. 

Естественно, разностное уравнение для составных 
А оров оценок при этом будет иметь вид 


ВР 91.,]7= 6,2, т. 6,, Ж„) - \»: 


| ини запишется уравнение для оценок в част-. 
ном случае п. 2,2: 


он 6, ЕЕ ге Ен (> 0,) -- Вт» в 0,) Х» == У». 


Если требуется ‘оценивать не все координаты векто-. 
_ ров У», а только часть их, то в уравнении для оценок 
следует взять функции &, (Ё, и \|, в частном случае п. 2.2), 
зависящие только от соответствующей части координат 
вектора У, (очевидно, что при этом необходимо оцени- 
вать все неизвестные параметры). В частности, при же- 
лании оценивать только неизвестные параметры в раз- 
ностном уравнении функции 6, (&, и \, в частном . слу- 
чае п. 2.2) следует взять не зависящими от. У 


Пример 4. Последовательность скалярных случайных вели- 
ЧИН {У»} определяется уравнением _ 


Уп+1 =09У„-Н У», 


_ где. 9 — неизвестный параметр, {У„} — последовательность независи- _ 
° мых случайных величин. Найти оптимальные линейные оценки. _ 


_0,„, 7» параметра 0 и величин У», определяемые Е 
[ва 0,+:17 — Чи ь2 0,17 В,Х п-- У». 
418 _ = 


& - 


по результатам. наблюдения величин Хи ИЕ И», где {И } — после- 
_ довательность независимых случайных ‘величин, независимая от {Ин}. 

Оптимальные значения %„, Ви и \,„ в этом случае определяются 
системой линейных алгебраических уравнений (19) при 


т р Му, е,6,— му,е„мд, . 


Хот = 


М@,7’,— М@9,М7, ме,6,—ме,мб, 
бр =[МУл@,— МУ,6,МУ, МУ, @,—МУ,М@,|т, 
я, МУ, 6,—М?,м6, | 

М?,6,—МУ,мб, мб, —(мМ0,) 


хй> =иТ = [МУ, У „— МУ, МУ» Му,6,„—му„мб,1т, 
2’ = МУ — (МУ, ь, | 


где @н — дисперсия величины И». Оптимальное значение у» опреде- 
ляется формулой (20): | 


„= [Му,@, Мета, [МУ м6," ВМУ 


` Уравнение (22) для характеристической функции величин У„, — 


9,, У», 9, имеет вид - 
Т 
п (^, и) = Пит (А) 1-1 (Ви- 1) х 


х ( т ( ариеа-ыт [у 6'т-- 


—х -х -х -® 


где № = [А Аа]Т, Вы дат, б-: О и 1 а нь 
‚ ские функции = У -1иИн-1 соответственно, а }„-_1 (у, 0, и’, 0' е 
плотность случайного вектора [У„_19„-_1 7,1 @,-117:. | 
т ь [2 
рва (и, 9, у = 4 ( ( ( | е7? (и + Аз9-+и" + из0”) чи 

> ) г 2 дл 


—х® -х -® -х 


Х &п-1 (1, А», а, 2) № 4% аи аи». 
Моменты а У», 0,, У 6,, входящие в полученные 


формулы для и и 7„, можно вычислить, как и в примере 1, или. 
_ дифференцированием характеристической функции бп, ИЛИ интегри- г. 


рованием, определив предварительно плотность {„ (у, 0, и, 0'). 

Для приближенного решения задачи методом п. 2.6 можно про- 
дифференцировать уравнение для би (А1; Аз, вл, из) по Ал, А», а, Из 
и по всем парам этих переменных, положить после этого А! =Ао = 
= и: =И.=0 и заменить все моменты выше второго порядка их 


выражениями через моменты первого ‘и второго порядков по фор-_ 


`° мулам п. 4.5.3 для нормального распределения. Тогда получим 
‚рекуррентные формулы для определения моментов первого и вто- 


рого порядков вектора [У„@„ 7,0„1т. Через эти моменты выразятся 
(п) 


и все моменты в формулах для Хх] И Ти, а также матрица. Ви вто-. 


рых моментов ошибки У. 


44* | Е 


ЧЕ Вь- 1-Е ть -1)} а (0, 6, И, 0) 4140 4 49’. 


к | 


и 


Пример 5: В условиях НИ 4 найти линейную оценку 
‚ одного параметра 09, ‘определяемую уравнением 


б,-+:==а„@ 9-Е ВаХ п-Ё п. 
В этом случае 
хи’ = [Му,@,6,—му,е,Мб, ме,б,—ме,мб„т, 
хе = иТ = МУ, 0, — МУ, Мб,, хи = Мб, —(М6,), 
а дз’ и 32’ имеют те же значения, что и в предыдущем примере. 
Оптимальное значение у„ определяется формулой 
у„=М®@,—а„М@,—В„МУ»_. 
Уравнение (22) для ай функции величин У», 
`@,„, 6, имеет вид 
вт (^, В) = -1 (^) С: (Ви-1ы)Х 


© © хх 


хр рав и а, + 


-х -х -© ' ке 
- Ви -зи- Ут -1)} т (у, 9, 9’) ау 49 49’, 
где _ 


^. 


{*=) 


1-14, 6,0) | | ер {-— Г лу--.0- 8} х 


Х бп-1 а, Л», и) а ЧА аи. 


Все’ сказанное в конце примера 4 относительно приближенного 
определения &„(^, и) полностью относится и к данному случаю. _ 


Метод п. 2.1 и п. 2.2 позволяет не только оценивать 
неизвестные параметры в системах, описываемых извест- 
ными разностными уравнениями, но и строить статисти- 
ческие модели систем, не поддающихся математическому 
описанию с помощью каких-либо уравнений. 

Отобрав существенные переменные, определяющие 
состояние системы в каждый данный момент, и связав _ 
их разностным уравнением подходящей формы, содер- 
жащим достаточное число неизвестных параметров, можно 
по результатам наблюдения работы системы (производи- 
мых в ней измерений) оценить изложенным в п. 2.1° 
_П. 2.2 методом все неизвестные параметры и таким путем 
получить статистическую модель системы, описываемую 
разностным уравнением. Взяв различные разностные 
уравнения, можно параллельно оценивать неизвестные 
параметры в них, сравнивать соответствующие модели. 
по средним Квадратам ошибок оценок параметров и вы- 
брать наиболее подходящую из них. 
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‚ Таким образом, изложенный здесь метод оценивания. 
величин, определяемых разностными уравнениями, и 
неизвестных параметров в них имеет широкое поле при- 
ложений. 


$ 3. Факторные модели. 


3.1. Задачи факторного анализа. Во многих зада- 
чах практики приходится’ изучать случайные векторы 
большой размерности. При этом часто оказывается, что 
_ распределение случайного вектора сосредоточено вблизи 
некоторого подпространства значительно меньшей раз- 
мерности (эллипсоид рассеивания сплющен по неко- 
торым направлениям настолько, что его. размерами 
в этих направлениях можно пренебречь). При этих 
условиях случайный вектор можно с достаточной для 
практики точностью представить как результат’ линей- 
ного преобразования случайного вектора меньшей раз- 
мерности. В связи с этим важной задачей статистики 
является задача нахождения приближенного линейного | 
представления случайного вектора через вектор меньшей 
размерности по результатам опытов. Характерная. осо- 
бенность этой задачи. состоит в том, что вектор меньшей 
размерности, через который надо выразить наблюдаемый. 
случайный вектор, не наблюдается и о нем ничего не 
известно. 

Ясно, что решение вопроса о возможности точного 
представления случайного вектора через вектор мень- 
шей размерности по эксперименталвным данным прин- 
ципиально невозможно. Можно лишь пытаться построить 
соответствующую модель и определить, согласуется ли 
гипотеза о том, что распределение сосредоточено на неко- 
тором подпространстве, с экспериментальными данными. 

Предположим, что в результате п опытов наблюдается 
т-мерный случайный вектор У, представляющий собой 
сумму интересующего нас случайного вектора Х и ошибки _ 
измерения р `Допустив, что вектор Х можно предста- 
вить как линейную функцию гГ-мерного вектора’ И == 


> .‚.. И.Т, Г < т, можем написать 
о т» ее (32) 
т | 


Таким образом, мы приходим к задаче построения мо- 
‘дели (32) по результатам наблюдения вектора У. Методы 
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_ решения этой задачи составляют т содержание факторного 
анализа |[50, 118]. 

Так как любой случайный вектор можно привести 

к вектору с некоррелированными координатами, то без 


потери общности можно считать величины У,,...,И, 


_ В (32) некоррелированными. 


Ошибки измерений координат случайного вектора 
обычно можно считать некоррелированными. как.-между 


собой, так и с измеряемым вектором. В этом случае. 
вектор 2 не коррелирован с величинами И., :..,И, и 


его ковариационная матрица Диагональна. 


Ясно, что решение задачи представления наблюдае- 
мого вектора У формулой (32) неоднозначно. Любое 


линейное преобразование вектора И, дающее в резуль- 
тате вектор той же размерности г, оставляет структуру 
модели (32) неизменной. В частности, путем умножения 
величин У,,..., И, на соответствующие числа и векто- 


_ ров х,...,х, на обратные числа можно сделать диспер- 


сии величин У;,..., Г, равными. наперед заданным чис- 


лам, в частности, все их сделать равными 1. 


Таким образом, будем предполагать, что выполнены 
следующие условия: 

1) случайные величины И,, ..., у, в (32) не коррели- 
рованы; 

_ 9) ошибка измерений Д имеет нулевое математиче- 
ское ожидание, не коррелирована с величинами |,, ...,И,, 
и ее ковариационная матрица диагональна; о 

3) дисперсии величин И\,..., И, равны 1. 
одель наблюдаемого случайного вектора У, опре- 
деляемая формулой (32) при выполнении условий 1)—3), 
называется факторной моделью. Случайные величины 
У,,...,Г/; называются факторами *). Координаты век- 
тора х, называются нагрузками соответствующих коор- 
динат вектора У (или вектора ЛХ) на р-й фактор 
(р=]1,...,Г). Дисперсии координат вектора Х, опре- 
деляемого суммой 1 в (32), называются факторными а 
персиями. 
Задача. построения факторной модели (32), по суще 
ству, равноценна задаче нахождения канонического раз- 
ложения вектора Х ($ 3.4}- по результатам наблюдения 


вектора У=х --2 (Т.е. по результатам наблюдения 


*) Термин фактор В факторном анализе и в дисперсиовном. 


анализе имеет разный смысл, 
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ЗА ИЕР УЧЕНИИ ЧЕ 


вектора Х с ошибками). Однако непосредственно при- 


х 


менить методы $ 3.4 для решения-этой задачи нельзя, 
так как для этого ‘необходимо знать ковариационную 


матрицу вектора Х. В данном же случае можно полу- 


чить по результатам опытов только оценку ковариаци- 
онной матрицы вектора У. Чтобы 'найти подходы к ре- 
шению поставленной задачи, представим ковариационную 
матрицу К, вектора Х каноническим разложением (3.75). — 
Тогда ковариационная матрица вектора У на основа- 


_ нии (32) и условий 1)—3) выразится формулой 


К,=К,+К,= х АТК, (83) 


В силу диагональности матрицы К, все недиагональные 
элементы матрицы К, совпадают с соответствующими 
элементами матрицы К,. Поэтому найденные по резуль- 
татам опытов оценки недиагональных элементов матрицы 
К, можно принять за .оценки соответствующих элементов. 
матрицы К‚. Диагональные же элементы матрицы К, — 
факторные дисперсии — остаются неизвестными. ., _ 

Таким образом, задача построения факторной мо- 
дели: (32) сводится к нахождению канонического разло- 
жения вектора Х при чеизвестных диагональных эле- 
ментах его ковариационной матрицы К,:. 

Чтобы преодолеть возникшее затруднение, можно 
предложить два подхода. Первый подход состоит в том, 
что вместо канонического разложения вектора Х ищут 
каноническое разложение вектора У. Определив первые г 
членов этого разложения, все оставшиеся т—г.членов 
объединяют в. ошибку 2, пренебрегая коррелирован- 
ностью координат полученного таким образом вектора 2. 
Второй прием состоит в замене неизвестных факторных — 
дисперсий произвольными положительными числами и. 
в сочетании метода канонических разложений с методом 


‘итераций. 


3.2. Метод главных компонент. На первом подходе. 
основан метод главных компонент, использующий раз- 
ложение наблюдаемого случайного вектора по собствен- 
ным векторам. В примере 7.13 мы видели, что оценками 
максимума правдоподобия собственных значений и собст- 
венных векторов служат собственные значения и собст- 


_ венные векторы оценки максимума правдоподобия кова- 


риационной матрицы. Если ‘найденные оценки собствен- 
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ных значений расположить в порядке невозрастания и 
при этом окажется, что сумма т—г последних собст- 
венных значений достаточно мала по сравнению с суммой 


всех их, то соответствующие главные компоненты можно | 
отнести за счет ошибок измерений, т.е. включить их. 
в вектор 0. При этом разложение (3:66) случайного. 


вектора У по собственным векторам дает искомую фак- 
торную модель (32), если положить У,=0 Ул», 


Хх ол. ие 


Пример 6. По экспериментальным данным получена оценка 
ковариационной матрицы Ку, приведенная в примере 3.14. Этой 
оценке соответствуют найденные в примере 3.14 собственные значе- 


ния: А1=6,0500, А, =0,9002, ^.=0,7134, \. =0,2603, А» =0,0560. Эти _ 


собственные значения можно принять за оценки соответствующих 
собственных значений ковариационной матрицы случайного вектора У. 
Так как сумма двух последних собственных значений М.-Л; 


`’ составляет‘ меньше 4% от суммы всех собственных вначений. 6 -— 


можно сохранить в разложении только первые три главные компо- 
_ненты. В результате получим трехфакторную модель 


У, =1,354", —0,086У,—0,013И.-Е 21, 
У, =1,310У,—0,234/.—0,304У3-+ 2,, 
у, =1,325И, —0,035И. 0,147. 2., 
у, =0,840", -- 0,009", 0,764" 24, 
У, =0,502И,-- 0,913" ,—0,093И; -- 2ь. 


Метод главных компонент, как и всякий метод, ›ос- 
нованный на определении собственных значений и соб- 
ственных векторов, требует сложных вычислений и 
поэтому может практически применяться только на ЭВМ. 
° Другие методы факторного. анализа основаны на дру- 
_ гих канонических разложениях. Все они различаются, 
_по существу, только выбором векторов з.,..., &, в общем 
алгоритме п. 3.4.3. 

_ 3.3. Центроидный метод. Одним из. часто применяе- 
мых методов факторного анализа является центроидный 
метод |[50, 118]. Этод метод основан на следующем выборе 


каждого очередного вектора &,.Сначала.берут вектор 4,,. 


линейно независимый от предыдущих векторов 41, ...,@;-1» 
все координаты которого равны 1 или —1 и опреде- 
ляются так, чтобы число отрицательных слагаемых в 
квадратичной форме 97 295, где на основании (3.73) и 
условия 3) | 

$—1 


К®=К,, К? =К,— 2 ха. ($=2, о 7), (34) 
р=} ‘ | 
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УИ УЧЕНИИ "РРЧТЕРЗИТ УОРРЕН РИН ИИА ЕЗДУ ЗАРИ НУ ЗАРИ ЗУД ТЧИЧУ ТОРИ ОЧЕР ОИРУ 


было минимальным. Затем определяют вектор 9, фор: 
мулой. 


. (35) 

ТИ ка, т 
Подставив это выражение в последние две формулы (3. 72), 
будем иметь Рр,.=5К®8,=1и 


($) __ К 95 __ т о 
=Кх’а,; = КУРСОРА РО ($=1,..., 7). (36) 
95 Кх 95 - 
Вычисление координат векторов х,,...,х, по этой фор- 
муле сводится к суммированию элементов соответствую- 
щих столбцов матриц К?=КА., К®,..., К? с измене- 


нием знаков некоторых из них и делению полученных 
сумм на’ корень квадратный из суммы всех элементов 
соответствующей матрицы К® с теми же изменениями 
знаков их элементов. Вследствие этого центроидный ме- 
тод часто называют методом простого суммирования. | 
Непосредственное применение формулы (36), как уже 
было сказано, невозможно из-за неизвестности диагональ- 
ных элементов матрицы ‚К,. Применяя первый способ. 
преодоления этого затруднения, заменяют К, в (36) най-_ 


денной по результатам опытов оценкой ‘А; ‘матрицы Ку. 
Определив первые г членов канонического разложения век- 
‘тора У, остальные члены включают в ошибку 7, пренебрегая. 
корреляцией между координатами полученного таким 
путем вектора 2. При втором способе за оценки фактор- 
ных дисперсий обычно принимают в первом приближении. 
наибольшие модули элементов соответствующих строк и 
столбцов и применяют метод итераций. Выполнив вычис- 
ления по формуле. (36) в первом приближении, опреде-_ 
_ляют диагональные элементы матрицы К, во втором при- 
‚ближении как суммы квадратов соответствующих коор- 
°динат векторов хл,...,х,. Повторив вычисления по фор- 
муле (36), находят векторы х+,...,х,во втором приближении 
и т. д. Процесс последовательных приближений закан- 
чивается, когда очередное приближение с достаточной 
точностью совпадет с предыдущим. 

| 3.4. Вращение факторов. Учитывая, что факторы по 
определению должны иметь единичные дисперсии, при- 
ходим к выводу, что факторы определены с точностью 
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До произвольного ортогонального преобразования, 1. 6. 
произвольного вращения. Действительно, пусть  =АУ. 


Тогда на основании (3.50) К„= АК,АТ= АГАТ= ААТ, 


Отсюда ВИДНО, ЧТО Ка —=/ тогда и только тогда, когда _ 


АТ= А-1, т. е. когда матрица А ортогональна. Произ- 
вольное ортогональное преобразование факторов приводит 
к новой системе факторов. Этим обычно пользуются для 
того, чтабы упростить интерпретацию результатов фак- 
_торного анализа. Определив факторы, производят их вра- 


‚ щение так, чтобы определенные координаты . вектора У. 


имели наибольшие нагрузки на один фактор и близкие 
к нулевым на другие факторы. 


Для первоначального определения факторов можно 


‘применять любой метод факторного анализа, в частности 
метод главных компонент *). 

Ясно, что `в преобразовании факторев путем враще- 
ния и в приведении их к «удобному» для анализа виду 
_ много субъективного. Поэтому разные исследователи могут 
интерпретировать одни и те же экспериментальные дан- 
ные различно. В погоне за удобной для анализа формой 
факторов в приложениях, особенно в области психоло- 
гии, часто преобразуют факторы так, что в итоге 
получаются коррелированные факторы. 

При построении факторных моделей часто нормируют 
координаты наблюдаемого вектора У, разделив их на 


оценки их средних квадратических отклонений. При этом. 


_ковариационная матрица К, наблюдаемого` вектора У 
_ваменяется его корреляционной матрицей К 


Пример 7 **). Даны результаты 23 наблюдений 9-мерного слу- 
чайного вектора (см. табл. на стр. 427). - 

Построить факторную модель, учитывая только те главные -ком- 
‚ поненты, которым соответствует 80% суммы всех собственных значе- 
ний корреляционной матрицы. 

В результате вычислений на ЭВМ по программе РАСТО полу- 
чены первые четыре собственных значения корреляционной матрицы 


_*) Метод факторного анализа, основанный на первоначальном 
определении факторов методом главных компонент, реализован в 
программе ЕКАСТО, которая использует для различных этапов фак- 
торного анализа стандартные подпрограммы СОККВЕ (для вычисле- 


ния выборочных средних, вторых моментов и ‘коэффициентов корре- | 


_ ляции), Е1СЕМ (для определения собственных значений и собственных 


векторов), ТКАСЕ (для отбрасывания малых собственных значений), - 


ГОАО (для вычисления факторных нагрузок)- и УАКМХ (для опти- 


` 


_мального в известном смысле зарижаксного — вращения факторов) 


[106]. 
**) Этот пример заимствован из [94], 
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РА УЗИ УЕ РЧИИНИИИ 


и. 


1 Е 7 9 7 15 36 60 15 24 
2 13 18 25 15 13 35 61 18 30 
3 9 18 24 23.12 43 62 14 31 
4 -7 13 285 36 11 12.” 63 26 32 
а 6 8 20 7 15 46 18 88 15 
6 10 12 30 11 10 42 27 12 17 
= 7 6 п 7 15 35 60 20 25 
8 6-9 25 16 9 9 64 20 30 
9 9 22 26 24 13 40 66 15 82 
10 8 15 26 30 13 10 66 25 34 
п 8 10 20 8 17 40 20 30 = 
12 9 12 28 11 8 45 30 15 19 
13 ты 21 30 10 45ы 60 17-90 
14 9 16 26 27 14/31 59 19 17 
15 10 15 24 18 12 29 48 18 26 
16 11 11 9.49 26 57 20 30 
17 в) 16 20 18 31 60 21 17 
18 9 8 19 14 16 33 67 9 19 
19 7 18 22 9 15 37 62 11 20 
20 вы 23 18 9 36 61 23 24 
21 6 6 27 97 40 55 24 31 
22 10 9 26 26 10 37 57 27 29 
23 90 26 15 п 43 59 20 28 


наблюдаемого вектора: ^,:=2,94989, ^,=1,64368, А: =1,55515 и 
^1 == 1,06579, сумма которых составляет 0,80161 от суммы всех девяти 
собственных значений (которая, очевидно, равна следу корреляцион- 


ной матрицы, т. е. 9), и. соответствующая четырехфакторная модель: ы 


У =9 я 2,70412 (0, 05498 У, о, 071837.—0, Е 


У, =12 60870- 4,59978 (0, 29329у, —0, 39653", — 0,3558 1; -- 


4-0,605507 4) 2%, 


У, =23,00000 --5,33427 (0,05114И, —0,82494у,--0;15068 И; -- 
+0,32984у«)- 2, 


у, =18,00000-! 8,33393 (0,74041И/, —0,41401/.--0, 245803 и 
-Е о, 13 7874) -- 2., 
Уь = 12,86957-| 3,13781 (—0 09091и, 0, 80662, +-0, в, 

-- 


— 
0,392281.) 2», _ 


_ Уз =34,82608-|- 9,29149 (—0,68286У, —0, 21579у,—0,44983И, — 


—0,20803У,)--2., 


У, = 54,00000-|- 14,87826 (0,86997У, --0,182997, — 0,34918И,-- 
--0,08830.) 2 2., 


Уз 19,39130-/ 5,56563 (0,03602у, —0 ‚05500У, --0,91376И, — 


0.159627.) -1 2., 


лы 13043 6,09249 (0,80532У, —0,32759;--0,00994у, — 


—0,023807;)-- 2. 
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50174-21, 


ми 


— 


а 


Первые слагаемые здесь представляют собой выборочные средние, 
а множители перед скобками — выборочные средние квадратические 
отклонения соответствующих координат вектора У. 


_ 3.5. Применение метода п. 3.4.5. Чтобы избежать 
вращения факторов и сразу получить факторную модель 
с большим числом нулевых и близких к нулевым нагрузок 


на факторы, можно применить для нахождения каноничес-_ 


кого разложения вектора Х метод п. 3.4.5. При этом, имея в 
виду, что порядок нумерации координат векторов может 
быть произвольным, можно по ходу вычислений устанавли- 


° вать новую нумерацию этих координат с целью получить. 


достаточно хорошую модель (по возможности с меньшей 


суммарной относительной величиной малых нагрузок). 


Чтобы применить метод п. 3.4.5 для построения фак- 


торной модели, выберем в качестве векторов 4,,..., Ч, \ 


а векторы первых г осей координат 


.=[0...010...0]7 ВЕ. № 


(буква $ над единицей показывает, что она стоит на $-м 
месте). При таком выборе векторов Ч» .... 9, формула (36) 
дает | 


А 
; Фр 
Ар = ее (р=1,..., Т), 

| в. | т 

И 5-1 =0, | (37) 
: Хх р Корж 151 р—.: 5-1, 55-1, р | 
р 

ы з о Е ат 

— | а о. 

Е А, а. ыт а матрицы К... 


В формулы (37) с соответствующим изме-. 


нением нумерации координат векторов, мы и получим 
факторную модель с наибольшим числом нулевых и ма- 
лых факторных Е, не прибегая к рае фак- 
торов. 

Чтобы найти критерий для установления новой нуме- 
рации координат векторов, заметим, что доля первого 
фактора У, в дисперсии р-й координаты вектора Х равна 
отношению х1р/А,, ‚ Поэтому естественно выбрать первую 
координату вектора Х, а следовательно, и первый фак- 
тор И; так, чтобы суммарная доля первого фактора У; 
в дисперсиях координат Х,,..., А» вектора Х была ми- 
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нимальной. Тогда получаем условие = 


Принимая по очереди все координаты вектора Х за пер- 
вую и вычисляя каждый раз.`‘величину #;, выберем в ка- 
честве первой координаты ту, для которой =, имеет наи- 
меньшее значение. Рассуждая так же, мы примем за $-ю 
ту из оставшихся т—$--1 координат вектора Х, для 
которой величина 


т 


ы 2 Е а 
В а 


2 
р=$+1 рр р ++. 7 №-1р 


имеет наименьшее значение. 
При выполнении вычислений по форерелам (37) при- 


ходится, как и при применении других методов фактор-. 


ного анализа, или заменять А, матрицей К,, или при- 
менять метод итераций, задавая в первом приближении 
какие-нибудь грубо приближенные оценки диагональных. 
элементов матрицы `К „. 

Этот метод построения факторной модели (факторного 
анализа) представляет собой вариант метода треугольной 
декомпозиции [118]. Это название объясняется тем, что 
при этом методе в случае г= т ковариационная матри- 
ца А, представляется в виде произведения треугольной 
матрицы х, столбцами которой Ре. векторы х:, -.., Хи, 
на ее транспонированную: АК, ==хх/ 

3.6. Оценивание факторов. Во многих случаях, кроме. 
построения факторной модели, необходимо также найти 
оценки факторов У.,...,И, в каждом из произведенных. 
опытов. Для этого достаточно воспользоваться Формуле 
(3.72). Подставив. в нее выражение (35) вектора` &., п 
‚ лучим  рекуррентные ‚формулы 


* 


Т 
> е Хо ; ; 
и 91 Кх91 - = 
$-1 
(хи, 
У, =— 2.0 
у ч7К®а; хз 
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:=\ 22 = ши. Е _ 


— 


Подставив сюда. выражение Х* у — т, У+2—м, 
_и заменив неизвестное - т, его оценкой У, получим 


ева г (У—У+2) 
> 
ты СУ 97 К,дь Кх91 
ат (у-7-5 из? 
Ик, — т ее 


В результате опытов получаются реализации У,,...,У, 
величины У и вычисляется их выборочное среднее У и 


а 


у, = 


оценки векторов х,,...,х,. Соответствующие же реали-_ 


зации вектора ошибки.{ остаются неизвестными. Чтобы 


Получить оценки факторов. в каждом из произведенных 


опытов, целесообразно воспользоваться регрессией фак- 


торов У.,...,И, на У, т. е. принять за оценки факторов. 
У,,...,И, их условные математические ожидания отно- _ 
сительно ‘наблюдаемого вектора У. В результате, имея в 


виду, что т,=0, получим 
= а (У—У) 
Ук, а К х 41 


т (»- У =) 
И Кв 


Другой метод получения линейной регрессии факторов 
на наблюдаемый вектор У основан на применении урав- 
нений (9.14) и (9.15), которые в данном случае имеют 
ВИД 


5=0, а: 


2К, = Ки, —а=т „— Вт, =—т,, (41) 


где К,,— взаимная ковариационная матрица случайных 
векторов У=ТУ,...У Ти У. Оценка матрицы К, ‘нахо- 
_ Дится непосредственно . ‚по экспериментальным данным. 
ря найти оценку матрицы К». На основании . (32) 


СР = МУУТ = МУ (тт-ЕУтят-- 27) = МУИтят = = Кохт ат, 


_где через х обозначена матрица, столбцами которой слу- 


_ жат векторы х,,...,Х,. Таким образом, уравнения (41) 


принимают вид 
— 8К=х, @=—Ет,. 
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_ (40). 
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дай < 


} 
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^ 


Решив эти уравнения и заменив т, еГо оценкой у п0- 
лучим &=х' Ку, а= —ТКУ. После этого находим ли- 
нейную регрессию вектора У на У: 


г= У а=хТК,у? (У — У). 
Отсюда. получаем оценки факторов 
р „=хТКУт(У — ЕЕ Я (42) 


Е. (40) и (42) ‘дают различные . оценки фак 
ров. Это различие объясняется тем, что при их выводе 
используются различные оценки регрессии факторов на _ 
наблюдаемый вектор. 


$ 4. Модели распознавания. 


4.1. Математическая постановка задач распознавания. - 
Как уже было сказано в п. 9.1.1, большое значение _ 
_ для практики имеет моделирование процессов распозна- 
вания. Задача распознавания состоит в том, что в ре- 
зультате наблюдения некоторого объекта из множества 
объектов, принадлежащих разным классам, определяется, 
какому из этих классов принадлежит наблюдаемый объект 
(например, по начертанию рукописной буквы определяет-. 
ся, какая буква написана; по наблюдаемому электро- 
магнитному или звуковому сигналу определяется, каким 
_ источником порожден этот сигнал; по данным геологи- 
ческой разведки определяется, какие полезные ископае- . 
мые имеются-в районе разведки, и т. п.). Ввиду боль- . 
шого разнообразия наблюдаемых и подлежащих распо- 
знаванию объектов их обычно объединяют абстрактным. 
термином образ и товорят о распознавании образов. Такая 
терминология объясняется тем, что первыми задачами 


автоматического РНИИ были задачи распозна-,. 


вания изображений. 

Для построения модели ‘процесса’ ‘распознавания’ не- 
_ обходимо прежде всего наблюдаемые образы охарактеризо-›_ 
вать некоторыми величинами, которые можно ввести в рас- 
познавающую систему, например в ЭВМ. Эти величины 
могут иметь разные значения для различных образов, 
даже принадлежащих одному и тому же классу. Выбор 
числа и характера величин— информативных признаков, — 
‚определяющих образы, представляет собой первый этап 
Е модели а в Этот Вон должен 
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Зы 


‚ решаться конкретно для каждой задачи распознавания 


с учетом возможностей производить необходимые изме- 
рения. И лишь после этого можно дать математическую 
постановку данной задачи распознавания. ‚ . 


Дадим теперь. общую математическую постановку. 


задачи распознавания, которая может служить ОСНОВОЙ 


ДЛЯ построения моделей распознавания. Пусть х— сово- 


купность всех величин — признаков, — характеризующих 


подлежащие распознаванию образы (в том чиелеи каче-. 


ственных признаков, принимающих только значения 0 
и 1), у-номер класса образов. Задача состоит в том, 
чтобы по наблюденному значению х определить значе- 


_ние величины у. 


В большей части задач практики наблюдаемые вели-. 


чины случайны и имеют различные распределения для 
разных классов образов, т. е. для разных значений у. 
Случайный характер наблюдаемых величин приводит к 


тому, что одно и то же значение х может наблюдаться 


-\ 


при разных значениях у. Вследствие этого задача рас- 
познавания принципиально не может быть решена абсо- 


лютно точно и становится статистической. В таких слу- 
чаях задача распознавания сводится к нахождению оценки 
у параметра у по наблюденному значению х случайной 


величины Х. 
Модель процесса ‘распознавания представляет собой 


зависимость оценки й номера класса образов и от зна- 


чения х наблюдаемой”лучайной величины Х. Построение 
модели распознавания сводится к определению этой зави- 
симости. Ясно, что эту зависимость следует определять 


так, чтобы число ошибок при применении модели. распо- 


знавания было как можно меньше. Как и в случае 
регрессионных моделей, мы ограничимся здесь случаем, 


когда наблюдаемая величина Х представляет собой ко- 


нечномерный случайный вектор. 


Предположим, что появления образов разных м 
представляют собой события (несовместные и образующие 


‚ полную группу). В этом случае номер у класса образов, 


которому принадлежит наблюдаемый образ, представляет 
собой реализацию дискретной случайной величины: У с 
возможными значениями 1, ‚ М, где № — число классов 


‘образов, подлежащих распознаванию. Пусть р1, :.., Рм— 


вероятности этих значений, т.е. априорные вероятности 


‘появления образов 1-го, ..., М-го классов, [(х|иу) — 
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„= 
ий ода оС м 


условная плбтность наблюдаемой Е Хх при ыы 
значении у величины У. 

Очевидно, ‘Что задача распознавания может ба ре- 
шена только в том случае, когда никакие. две из плот- 
ностей {(х|1),...,/(х|М) не совпадают тождественно, 
т. е. когда величина Х имеет различные распределения _ 
для образов разных классов. Это различие в условных 
распределениях величины Х и служит признаком, по 
которому можно различать образы разных классов. Если 
какие-нибудь из плотностей ] (х|1),...,/(х| №) одинаковы, 
то образы соответствующих классов неразличимы. 

Вследствие случайности наблюдаемой величины Хо 


вырабатываемая моделью распознавания оценка и номера _ 
класса образов, как всегда в задачах математической 
статистики, представляет собой реализацию случайной 


величины у. Правильному решению соответствует совпа- 


дение У с У. Если У-У, то модель распознавания при- 
нимает ошибочное решение. При этом возможны М (М— 1) 
различных видов ошибок в соответствии с тем, что модель 
может принять образ каждого из М классов за образ 
одного из М—1 других классов ‘(каждому значению 
у=1,..., М величины У может соответствовать любое 


из М— 1 значений У, не совпадающих с у). Обозначим 
через &„; условную вероятность события У =^ при У =[, 


`  @=Р=НУ=О -Ь...-,М). 


-Величины ©,, (К =|,..., №) представляют собой услов- 
ные вероятности правильных решений при СООтНетСО 
щих значениях величины У, а ‘величины %,, (к, [=1, 

‚ М; Р==1) — условные вероятности ошибок различных . 
видов. Вероятность правильного решения (безусловная) 
определяется по формуле полной вероятности (1.14): 


Раны 


Вероятность ошибки (безразлично какого именно вида), 
очевидно, равна 9=1— р. - 

Построение детерминированной модели распознавания, 
‘очевидно, сводится к разбиению пространства’ значений 
величины Х на М непересекающихся частей, которые мы 
обозначим через Д,,..., Ал, и определению зависимости 
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Фот Х формулой - 
7 =А при ХЕ. Ем | 


Тогда модель распознавания будет принимать решение, 
что появился образ А-го класса при попадании величи- 
ны Х в область А, (Е =1,..., М). 

Построение стохастической модели распознавания сво- 
_ дится к установлению зависимости от Х вероятностей 
_6(11Х),..., 6(№М!Х) отнесения наблюдаемого образа к 
первому, второму, и т. д., М-му классам. В этом слу- 


чае модель распознавания будет по наблюдаемому зна-. 


чению х величины Х вычислять вероятности 6 (1 |х),. 
..., 0 (М|х) и в соответствии с этими вероятностями путем 


статистического моделирования Врат ывать значение у 
оценки У. 


ШИМ сначала задачу построения детерминированной мО- 


‘дели. Границы между областями А,, ..., Ам естественно 


определять так, чтобы вероятность правильного решения 
была максимальной. Такую модель будем называть 
оптимальной моделью распознавания. Вероятности &,„, 
(к, 1=1,..., №) определяются в данном случае формулой 


ан = Крах Це, 1=,..., М). (44) 


Ар 


Подставив в (43) выражение &,, из (44), получим для 
ааа правильного решения формулу | 


р= ‚р пои — (45) 


№ Рассмотрим сначала ‘случай двух классов образов, 
№=2. В этом случае область А, представляет собой 


—- дополнение области А;, А, =А,, и формула (45) прини- 


мает вид 


р=р: Пек рь { 19) : 
1 А1 
Но = 


\ 2) 4х1 | #12) ах. 


5 
— 
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4.2. Детерминированные модели распознавания. Ре- 


| а 
И 


Следовательно, Е > 
— рырь+ РИ. (12)]4х. (46) 


А! 

Отсюда видно, что вероятность правильного решения 
будет максимальной, если за область А, ‹принять всю 
область, в которой подынтегральная функция положи- 
тельна. Действительно, если область А, представляет 
собой только часть области, в которой подынтегральная. 
функция положительна, то интеграл в (46), а следова- 
тельно и вероятность правильного решения р, будет 
меньше. Если же включить в область А, часть области, 
в которой подынтегральная функция отрицательна, то 
интеграл в (46), а следовательно и вероятность. р, тоже 
будет меньше. Таким образом, оптимальные области А; 
и А, определяются формулами *) 


А, = {х: ры (х| )— ры (х |2) > 0}, 
Ах: ри (|) вЫ (12) < 0}. 


`Оптимальная граница между областями А, и А, опре- 
деляется уравнением | 


ру (х | 1) = р» (х | 2). 


`На рис. 37 показана оптимальная граница — точка х, — о 
между областями А, и А, в случае скалярной вели-*. 


(47) 


у=р, 1 (т|!). 
у=р27 (92) 


чины Х. Вероятность ошибки д =1—р равна площади 
зачерненного криволинейного треугольника. Если при- 
нять за границу между областями А, и А, точку х; 


*) Через {х: 09}, как всегда, обозначено множество значений х, 
удовлетворяющих условию 0. 
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‘левее точки х, или точку х, правее точки ху, то ве- 
роятность ошибки увеличится на величину площади 
криволинейного треугольника АВС или соответственно 
СРЕ, отмеченных штриховкой. Следовательно, при ‹сме- 
_щении границы между областями А, и А, в любую сто- 
рону от точки х, вероятность ошибки д. увеличивается 
и, следовательно, ЕО ОСтЬ правильного решения р. 
уменьшается. 

Таким образом, оптимальная _модель распознавания 


должна вырабатывать значение ий оценки У по следую- 
щему правилу: 


А НЫ, ра 

р а (48) 
-_ 1(« 11 | 
НЕ 


Отсюда видно, что решающую роль в` построении модели 
распознавания играет отношение условных плотностей 
величины Х, соответствующих двум классам образов. 
Это отношение называется отношением правдоподобия. 
Очевидно, что вместо отношения правдоподобия 2 = 
—=1(х | 1)/Р(х | 2) можно взять любую строго возраста- 
ющую функцию этого отношения 0 (г). < 

°— Итак, оптимальная модель распознавания должна вы- 
числять некоторую строго возрастающую функцию отно- 
шения правдоподобия 09/2 и сравнивать результат с вели- 
чиной с=0 (р»/р1), называемой обычно порогом. П риб (2) > 


принимается у=1. При 6 (2) < с принимается у=9. Этот 
алгоритм часто называется решающим правилом. Функция 
9(2) называется’ дискриминантной функцией. Она выби-‘ 
рается так, чтобы вычисления были как можно проще. 

Покажем, что найденная оптимальная модель распоз- 


’ навания является оптимальной и с точки зрения*крите- 
_ рия максимума апостериорной вероятности, т. е. услов- 


ной. вероятности Р (У = | х) появления образа. А-го класса 
при данном значении х величины Х. Иными словами, 
_ модель принимает : 


и=1. ‘при РР = 215), 
и=2 при Р(У= 21%) > Р(У=1|х). 


Для доказательства вычислим ри рные вероят- 
ности Р (У = Ех): 


а 
ср =) = УТеИ-ЕрГеТ @-1,2. 
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о и из (47) видно, что Р У 1 |) >.Р\.= 214) 
- при хЕД, и Р(У=2|х) > Р(У=1|х) при хЕАД.. 

_ № При произвольном числе классов: образов № апосте- 
_риорные вероятности Р (У =А|х) определяются формулой 


х| Е ‹ 
ре. р .., М] 
Ури (*11) 
$21 
Отсюда следует, что в оптимальной модели, работающей 
по критерию. максимума апостериорной. - вероятности, 
области А.,..., Ам определяются формулой 


А, = {х: пах рый (А) — рый (511) =... №М). 2 


Эта модель, очевидно, реализует и максимум вероятно- 
сти правильного распознавания р, определяемой форму- 
лой (45), так как для нее формула (45) может быть пе- 
_ реписана в виде 


р = { пах {ры (#1) ах. 8. 


Пример 8. ыы случай распознавания образов двух 
классов .при т условных распределениях / (х|1) и [(х |2): 


Ки хр | у т-и?) Ка = 


У [К;| 
| ($=1, 2). 


Ясно, что вычисления будут проще, если вместо ‘отношения правдо- _ 


подобия 2=[(х|1)/!(х|2) взять его удвоенный логарифм и отбро- 
сить в полученном выражении ‘все слагаемые, не зависящие от х. 
Тогда получим функцию 0 (2) в виде квадратного многочлена 


0 (2)=дТ (Кг —Кт\) х--2 (КГ тёКЬ У х. 
При этом порог с определится формулой _ р 


т е=0 (22) = 2 п к. Ч ттК ит, — тТКить. | 


В частном случае совпадающих ковариационных матриц К1 = 
= К.=К выражения для 0 (г) и с принимают вид 


9 (2) =2 (тг ин )К= 1% 
06 (22) —=2 п Ри К-ип, —пК-\ по. 
| Р1 Р1 
*) Для вывода этой (и предыдущей) формулы достаточно под- 
‘ставить в формулу умножения плотностей (4.23) выражение плотно- 
сти [»› (и) дискретной случайной величины У, затем вычислить {1 (х) 


по формуле (4.8) и подставить найденные выражения [(х, и) и |; (х) 
в (4.17). 
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В этом случае граница между областями т и А, представляет со- 
бой гиперплоскость. В соответствии с этим решающее правило, по 
которому работает модель, называется линейным. 

Найдем теперь условные вероятности ошибок: вероятность Ол 
принять образ второго класса за образ первого класса и вероят- 
ность ©»: принять образ первого класса За образ ‚второго класса. 


Для этого найдем условные распределения случайной величины — 


о 
а 


| 


— 111 КТ, -- та Ка ть = 
=2(тГ—тТ) К-1Х. 


Так как У представляет собой линейную функцию вектора Хе нор- 


мальными условными распределениями, то условные распределения |728 


нормальны. Поэтому достаточно вычислить условные математические 
ожидания и дисперсии величины У. По формуле (3.11) находим 


ш= МИ [1] =2 ("Г — м7) К-1, 
из = М [У |2] =2 (тГ —т!) К-\т.. ` 
рае дисперсии величины У найдем по формуле (3.50). Так 1 как 


вектор Х имеет одну и ту же ковариационную матрицу для образов 
обоих классов, то условные дисперсии величины У совпадают: 


а т Неа 
=4 (тГ —тГ) К-* (т. —тз). 


По формуле (3.92) для вероятности попадания нозмально ‚распреде- 
ленной случайной величины в интервал находим 


В тв 


Полная вероятность ошибки равна’ д== рут рб, а еронтвОсЕ 
правильного решения — р=1—9==1 — р1%21 — Р2@1з. Возможность 
точно определять‘ вероятности ошибок двух видов при нормальном 
распределении- вектора Х является важным прмуществом линей- 
ных решающих правил. 


4.3. Стохастические модели ‘распознавания. перейдем 
к стохастическим моделям распознавания. 


№ Условное. распределение вероятностей $ (их) 
(и=1, ..., М) при данном значении х величины ХА, в 
соответствии с которым стохастическая модель распоз- 
навания определяет оценку У номера У класса образов, 
называется решающей функцией или рандомизированным 
правилом решения модели распознавания *). 


*) От английского слова «гапдот» —«случайный». 
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_ Условные вероятности онтибок и правильных реше- 
ний различных видов для стохастической модели рас- 
познавания определяются формулой 


ие ОГО Г=1,.., №). (51) 


Вероятность правильного. распознавания на основании 
формулы полной вероятности (1.14) равна 


р= Хр = Хр ОА 


м Е 
=} рый (х1 8) 6 (#1 х)ах. = 52) 
Так как 


м 
0<65(Ё|х) <1 »8(х)=1 
= 


при любом х, то подынтегральная функция в (52) пред-. 
ставляет собой среднее взвешенное значение величин _ 
р. (х|^) =1,..., М), которое не’может быть болыше. 


тах {р,/ (х|^)}. Поэтому никакая стохастическая модель 
= = 


распознавания не может быть лучше оптимальной детер- 


минированной модели, для которой согласно Е 


р=\ тах {р (е|®)}ах. 


Имея в виду а (49) областей А», приходим К 
выводу, что вероятность правильного решения р дости- 
тает максимума тогда и только тогда, когда 9\(А|х) = 1 
при хЕАь и 6(#|х) =0 ‘при х6А, (#=1, ..., М), т.е. 
для оптимальной детерминированной модели. < 
_ Таким образом, оптимальная детерминированная мо- 
_ дель является оптимальной среди всех возможных моделей, 
как детерминированных, так и стохастических. 

Только что доказанная теорема справедлива, конечно, 
лишь в том случае, когда при построении модели рас- 
‘познавания точно известны все вероятности р,,...,р 


м 
классов и условные плотности |(х|1),...,[(х|М№) вели- 
чины Х. Если модель распознавания строится при 


неполной информации о р, и [(х|^) (Е =1,..., №), когда 


_ они точно не известны, то стохастическая модель может 


оказаться лучше всех реализуемых детерминированных, 
так как оптимальная детерминированная модель остается 
в этом случае нсизвестной и не может быть реализована. 


439 


4.4. Обучение моделей распознавания. Для построё- 
ния модели распознавания в случае, когда ‘вероятности 
р. и плотности {(х|^) (Е=1,..., №) зависят от неиз- 
вестного параметра 09 (в общем случае конечномерного 
векторного) или вообще неизвестны, их приходится оце- 
_нивать по результатам опытов. 

Если достаточно хорошие оценки неизвестного пара- 
метра 9 можно получить‘ непосрёдственно по наблюдае- 
мому значению х вектора Х (а это возможно только в 
случае, когда размерность вектора 09 значительно меньше. 
размерности вектора Х), то можно включить в модель 
распознавания выработку соответствующих оценок ве- 
роятностей р, и плотностей [(х|^) и использование этих 
оценок в найденных решающих правилах. 

Однако, как правило, хороших оценок параметра 9 
или непосредственно величин р, и функций [(х|^) по 
результатам наблюдения величины Х получить невоз-. 
можно. В таких случаях возникает задача обучения мо- 
дели распознавания путем ввода в нее дополнительной 
информации, необходимой для выработки оценок неиз- 
вестных величин или непосредственно границ между 
областями А,,...; Ах. При этом в модель включается 
алгоритм ее обучения, т. е. формирования необходимых 
оценок на этапе обучения. Если во время обучения. мо- 
дели ‘в нее вводятся только реализации случайной ве-_ 
личины Х. (входного сигнала), то модель называется 
самообучающейся. Если же, кроме реализаций вели- 
чины Х, в модель вводится во время обучения инфор- 
мация о том, какому классу образов соответствует каж-_ 
дая реализация величины Х, или какая-либо другая. 
информация, которая может быть использована для оце- 
нивания неизвестных характеристик, то модель назы- 
вается обучаемой (или обучающейся). При этом источник 
дополнительной информации. называется учителем неза- . 
висимо от того, человек это или автоматическая распоз- 
нающая система. Если учитель безошибочно определяет 
класс наблюдаемого образа, то он называется идеаль- 
ным. Если же учитель может ошибаться, то он`называ- 
ется реальным [75—80]. 

Для оценивания неизвестных. параметров или функ- 
ций во время обучения модели можно использовать раз- 
‚ личные методы [25]. В чабтности, одним из наиболее 
эффективных методов является метод стохастических 
аппроксимаций ($5 7.3. и 7.4). 
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4.5. Построение моделей распознавания без информа- 
ции об априорных вероятностях. До сих пор мы пред- 
полагали априорные вероятности различных классов 
образов р:,...,Рм известными. Однако во многих слу- 
чаях они не известны ‘и даже могут вообще не сущест- 
вовать, ёсли образы различных классов при применении 
модели распознавания появляются не случайно. Во всех 
таких случаях оптимальной моделью распознавания‘ 
образов двух классов считают такую модель, которая 
реализует минимум вероятности ошибки одного вида при 
данном значении вероятности ошибки другого вида. 
Условие минимума вероятности ошибки одного вида при 
заданной вероятности ошибки другого вида обычно на- 
зывается критерием Неймана — П ирсона. 

№» Для нахождения решающего правила оптимальной 
модели распознавания по критерию Неймана — Пирсо- 
на можно применить метод неопределенных множителей. 
Лагранжа. Согласно этому методу для нахождения 
условного минимума вероятности и„, при данном значении. 
вероятности ©, надо сначала найти минимум величины 
а’ =@.-А№., где ^— множитель Лагранжа, а потом 
определить А так, чтобы вероятность ©.» имела заданное 
значение. На основании (44) величина 9’ для детерми-. 
нированной модели распознавания выражается формулой 


д’ (Река (112) 6. 
А, | А: 
Так как А,=А, и вследствие этого 
рота = 1-е) 4% 
а. У. 


то 


ит (Пе ме24 
А, | 


Отсюда совершенно так же, как в п. 4.2, находим опти- 
мальные области 4, и д которые в данном случае 
зависят от неизвестного параметра Л: 


А: [10-м 12) > 0}, 
о нц Г -М@12) < 0}. 


Сравнивая эти формулы с (47); приходим к выводу, что 
оптимальное правило решения отличается от найденного 
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вп. 4.2 только тем, что в выражении порога с. вместо от- 


_ сона дает для определения АЕ с О 


_В а случае уравнение для с приближенно можно решить, вы- 


° Докажем, что никакая стохастическая модель при дан- 
ной вероятности ошибки первого вида @., не может 


>. 
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ношения вероятностей р:/р, входит величина А с =0(^). 
Эта формула выражает с через величину ^Л, которая 
определяется из условия, чтобы вероятность @&., имела 
заданное значение. В задачах практики часто удается 
непосредственно определять порог с из условия равен- 
ства вероятности‘ @., заданному числу, что позволяет - 
избежать промежуточного вычисления ^. < 


Ра 9. В условиях примера 8 критерий Неймана —Пир- 


—А ех ——- (х’ —т: К х— то) > ах = о», 
У (2л)/ | «т } Р = ее 
1 (с) | 


= 


ы ‘ 
ВИ ИТЕРА НУР РИ ИЕ ЕТ ЧАИ С ЕТ ИЗ ИРИ 


где область интегрирования А, (с) определяется формулой 


А, Я = ХТ (К КГ) х--2 (т КГ —т К х> 6}. 


числяя интеграл методом статистического моделирования для раз- 
личных значений с. В частном случае одинаковых условных кова-_ 
риационных матриц вектора .Х, К, =К.=К, т. е. в случае линей- з 
ного. решающего правила, уравнение для порога с на основании 


_результатов примера 4 принимает вид ‘ 


Перейдем теперь к стохастическим моделям распоз- 
навания, обеспечивающим заданную вероятность @... 


иметь вероятность ошибки второго вида _@,, меньшую, 
чем оптимальная детерминированная модель, основанная 
на критерии Неймана —Пирсона. 

№ Действительно, в этом случае 


загодя» = 69) 


- 


где А, = а # (11) > М(|2)}. Вероятность ошибки вто- 


рого вида для детерминированной модели Неймана — 
Пирсона определяется формулой 


а, =-\ 1 (=) ах 


А; а 


_а для стохастической модели —формулой > 
о = 6 (2х) (1) 4%. 


Следовательно, 


о: иран пак - 
[его в - Пома = 
г = [возит 


_ Отсюда, имея в виду, что 1%) > №12) при СА, и 
Н&) < М (12) при хе А», получаем неравенство 


= А 
ыы ев 
+ (1х) ет вбталытоац = 
а. 


о оба интеграла в фигурных скобках согласно (53). 
равны одной и той же вероятности 4... Следовательно, 
_“») > 9,, причем знак равенства достигается тогда и 
только тогда, когда 6(1|х)=1 при хХЕА, и 6(1|х)=0 
при хЕАД,, т. е. для оптимальной детерминированной 
модели. < - 
Таким образом, оптимальная ‚ детерминированная мо- 
дель Неймана —Пирсона является’ оптимальной среди 
_ всех моделей, как детерминированных, так и стохасти- 


_ ческих. 


Каки вп. 54 3. эта теорема доказана. только для 
случая полностью ‘известных распределений [(х|1) и 
[(х|2). Если они не известны или зависят от неизвест- 
_ ных параметров, то оптимальная модель Неймана —Пир-. 
_ сона не может быть реализована. В подобных случаях. 

‘стохастическая модель может оказаться лучше всех де- 
терминированных. 
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4.6. Проверка гипотез. Задачи распознавания родст- 
венны задачам проверки гипотез |49]. Основная задача 
теории проверки гипотез заключается в том, ‚чтобы по 
результатам наблюдения случайной величины Х, плот- 
ность вероятности которой /(х|9) зависит от неизвест- 
ного параметра 0, принять или.отвергнуть определенную 
гипотезу о значении 0. Если гипотеза состоит’ в том, 


что 9 имеет определенное значение 0, и ни от каких: 


других неизвестных параметров }(х|9) не зависит, то 
гипотеза называется простой. Если же. гипотеза. состоит 
в том, что 9 принадлежит некоторому множеству, то она 


называется сложной. В частности, гипотеза о том, что’ 


некоторые координаты векторного параметра 9 имеют 
‚ данные значения при неизвестных остальных координа- 
‘тах, будет сложной, так как она равноценна гипотезе, 
что 9 принадлежит множеству всех векторов с данными 
значениями соответствующих координат. 

Задача проверки простой гипотезы Н,, состоящей в 


том, что 9=0,, при условии, что 9: может иметь другое 
Га 
определенное значение 09, (конкурирующая гипотеза Н!), 


очевидно, представляет собой задачу распознавания 
_ образов. двух классов при 


ео =Г в), Ге) =). 


Отметим, что в этой задаче априорные вероятности р, и 
р._не существуют, так как 9 — неслучайная величина, 
вследствие чего равенства 6—0, и 9=0, не являются 
событиями. 

Решающее правило, для которого вероятность 0. от- 


вергнуть гипотезу Н,, когда она верна, имеет данное. 
значение в, &., =.е, в теории проверки гипотез называется 


правилом уровня в **). 

Решающее правило данного уровня &, для Которого 
вероятность @&.; отвергнуть гипотезу Н,, когда она не- 
верна, максимальна, называется наиболее мощным пра- 
вилом уровня = для гипотезы Ну, относительно гипотезы Ну. 


*) Мы относим значения наблюдаемой величины Х, соответству- 
ющие интересующему нас значению @, параметра 0 (т. е. случаю, 
когда верна гипотеза Но), ко второму классу образов, чтобы поста- 
новка задачи проверки гипотез совпала с постановкой решенной 
выше задачи распознавания. : 

**) В теории проверки гипотез детерминированное решающее пра- 
вило, в соответствии с которым гипотеза Но принимается или отвер- 
`гается, называется критерием. Мы предпочитаем более общий и более 
современный термин решающее правило. 
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„зыбь дви офисе пира ибБв Кай РИА РР УНИИ ЧИНУ ИУЕНУ Ч ЧР УИ 


Всли одно ‘и то же решающее правило оказывается най- 
более мощным при всех возможных значениях 0, (при 
всех конкурирующих гипотезах Н,), то оно называется 


равномерно наиболее мощным правилом уровня в для ги- 


потезы Ну относительно множеств допустимых гипотез. 


| Современная теория проверки гипотез заложена тру- 
дами Неймана и Е. Пирсона [67, 68], которые первыми, 


решили задачу нахождения наиболее мощного решающе- 
го правила данного уровня. Именно поэтому критерий 
максимума вероятности &,, (минимума &,,) при данной ве- 
роятности ©, называется критерием Неймана — Пирсона. 

Ясно, что решающее правило оптимальной модели 
распознавания образов двух классов, основанное на кри- 
терии Неймана—Пирсона, является наиболее мощным пра- 


вилом уровня #=,. для гипотезы Нь, относительно Н:.. 


Случаи, когда существует равномерно наиболее мощное 
решающее правиЛо, встречаются очень редко. 


Пример 10. Найденная в примере 9 оптимальная модель рас-_ 


познавания ‘решает задачу проверки гипотезы о том, что неизвестное 
математическое ожидание т и ковариационная матрица К случайного 
вектора Х равны т. и К» (при. конкурирующей гипотезе п?“= тут, 
К =К,). Решающее правило этой модели является наиболее мощным 
правилом уровня &= 01.2. Согласно этому правилу гипотеза т = то, 
К =К. принимается, если 0 (2) < с, и отвергается, если 9 (2) > с. При 
известных совпадающих ковариационных матрицах К: и Ко, К1=Ко = 
=, найденное в примере 5 оптимальное линейное решающее правило 
является наиболее мощным правилом уровня =. для гипотезы 
т=то относительно гипотезы т == и. 


Если модель распознавания строится В случае неизвестных плот-- 


ностей / (х| А) или известных .с точностью до неопределенного пара- 
метра 0, то, так же`как в случае моделей п. 4.2, возникает задача 
: обучения. модели, о которой сказано в конце п. 4.4. | 


4.7. Последовательные модели распознавания. В из-. 


ложенной теории построения моделей` распознавания 
вектор Х может представлять собой или однократно на- 
блюдаемую случайную величину, или совокупность резуль- 
татов п последовательных наблюдений некоторого слу- 
чайного вектора И `меньшей размерности. В последнем 
случае Х =[ИГ..: ИГТ, где 0,, ..., И, — результаты 
наблюдений вектора (/, и рассмотренные модели распоз- 
навания вырабатывают решение только после того, как 
_ произведены все и наблюдений. Однако можно построить 
и такую модель распознавания двух классов образов, 
которая после каждого наблюдения или принимает опре- 
деленное решение о классе наблюдаемого образа, или 
принимает решение сделать еще одно наблюдение. Такой 
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„е 


„>= — 


Метод решения задачи о называемый послеё- 
довательным анализом, разработан Вальдом [14] *). 
Пусть [+ (|1) и [, (х|2) — условные. плотности векто- 
ра Х для ‘образов двух классов.для первых А наблюде- 
ний (2=1, 2, ...). Размерность вектора Х в этом случае, 
очевидно, равна Ёр, где р— размерность вектора И. Пусть 
9, (2), г={, (х|1)/1, (х |2), —дискриминантная функция для 
первых Ё наблюдений. Метод последовательного анализа 
состоит в том, что, задав обе условные вероятности 
ошибки &., и'%,,, на каждом шаге определяют два порога 
бк И С5ь, Сь < с, (=1,2,...). Если после Е-го наблю- 
дения 0, (2) > с,,, то принимается у=1. Если 0, (г) “са, 
то принимается у=2. Если же с,, < 0, (г) < с,„, то про-_ 
_изводится (&-+1)-е наблюдение вектора И **). Ясно, 
что в этом случае модель примет образ второго класса 
за образ первого класса, если для образа второго 
класса получится 0, (2) > с,,, а образ первого класса 
_ ва образ второго класса, если для образа первого класса 
_ получится’ 0, (г) < с.,. Следовательно, условные ‘вероят- 
ности ошибок двух видов выражаются через вар С1ь 
ЩИ С формулами 


1 = \ (|2) 4х, и \ (|1) ах. (54) 


0,,(2)> со» | Ее) са 


При заданных вероятностях о, и а. эти соотношения _ 
служат уравнениями для определения порогов с1, И сь,. 
Эти уравнения в общем случае можно приближенно ре- 
шить, вычисляя интегралы для ряда значений С;, И С» 
путем статистического моделирования ($ 8.4). 

Число наблюдений, после которых последовательная 
модель распознавания принимает определенное решение 
о классе образа, представляет собой случайную величи- 
_ ну. Покажем, что при любых вероятностях @, и 1, с 
которыми задача распознавания оао оптимальной 


*) Изложение современной тесрий последовательного анализа, из. 
которой первоначальные методы Вальда вытекают как частный а 
чай, дано в [124]. 


| **) При этом, конечно, образ, предъявленный для 1 распознавания, а 


- не должен изменяться в течение всего времени наблюдений. Иными 
словами, многократно наблюдаемая случайная величина ( должна 
характеризовать один и тот же образ (иметь одно и то же распреде- 
ление) во время всех наблюдений. В случае проверки простых гипо- 
тез все наблюдения вектора ( должны производиться при одном и 
том же значении неизвестного параметра 0. 
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‚моделью Неймана—Пирсона при каком-нибудь конечном. 


числе наблюдений п, математическое ожидание числа на- 
блюдений, необходимых для последовательного распоз- 
навания с теми же ри Ч, и ©, всегда 
меньше п. 

В» Предположим, что при п наблюдениях вектора 0 
оптимальная модель Неймана— Пирсона решает задалу рас- 
познавания с вероятностями ошибок &, И &,1. Тогда 


К 
@1(2)>с 9, (2) <с 


Пороги с:, и с, на п-м шаге последовательного распоз- 


_ навания с теми же вероятностями ошибок 0, иа,, опре- 


‘деляются уравнениями (54) при А =п. Сравнивая послед- 


_ ние равенства с (54) при Е=п, получаем с, =с,„=с. 


Вследствие этого последовательная модель распознавания 
с вероятностью 1 примет определенное решение после не 
больше чем п наблюдений (событие 0, (2) =с практически 
невозможно; поэтому (п - 1)-го’ наблюдения заведомо не 


_ будет). Однако последовательная модель может принять 


определенное решение и раньше, после А < п наблюдений, 
и вероятность этого события не равна нулю. Следова- 
тельно, математическое ожидание случайного числа на- 
блюдений, при котором последовательная модель распоз- 
навания примет определенное решение, меньше п. < 


Пример 11. Предположим, что в условиях. примера 8-вектор 
Х представляет собой совокупность ха К независимых на- 
блюдений случайного вектора И, Х=[И! .... ИГ. В этом случае 


выражение примера 8 для дискриминантной аа принимает вид - 


Мы Е 


Е: 
6, (2) = 7 [и (р ще В) ий, 


где И, Гы — условные математические ожидания, а Е Е условные 
ковариационные матрицы вектора И для образов двух классов. 
_ В частном случае, когда [п ==, формула для 0, (2) прини- 
мает вид 

|. 


0, (2) = У ИЕ м 


и формулы для. условных ‘математических ожиданий и дисперсий 


- ВЕЛИЧИНЫ 


Ее 
У =б, (2) == У (#Т—1Т) [-ЧЛ 
с ${=Т. : 
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: = (Т— ВТ) Г-Ч:, Пк=А (Т— АТ) Е», 
Рь=А (ИТ — ВТ) 1-1 (1—1). 


"Полагая для краткости в ты а (ит — ВТ) Г, =А., 
будем иметь | 
МА АЛ1, ав АА, рые вам) 


Уравнения (54) для определения порогов С1к И Сор в этом случае 
имеют вид 


Ф (рии) ван Ф [а = в 
ИЕ, —^,) УЕ (^, —^,) 
Обозначив аргументы функции Лапласа, при которых справедливы 
эти равенства, соответственно %: и %›, получим 


св = —м УЕ: —^), сн уз УР: Л). 
` Следовательно, 
Сзв — СЕ == Е уз) УЕ и —^.) — А (\.—^.). 


Отсюда видно, что число наблюдений п, при котором С1п < сои; ОПре- 
деляется неравенством 


(у У)? 
А — > 2 ; .. 


Наименьшее целое число п (всегда положительное вследствие того, 
что А: > Аз), удовлетворяющее этому условию, и будет максимальным. 
возможным значением случайного числа наблюдений, необходимых 
для того, чтобы последовательная модель распознавания приняла 
_ определенное решение. Математическое ожидание числа наблюдений 
для последовательной модели распознавания будет всегда меньше п. 


Иж 


Последовательный анализ можно считать началом тео- 
рии управления экспериментальными исследованиями. 
В последовательном анализе Вальда управление состоит 
в том, что в зависимости от результатов проведенных 
опытов на каждом шаге решается, продолжать опыты 
или прекратить их и принять определенное решение о 
принадлежности результатов наблюдений определенному 
классу. В более общих и сложных задачах управление 
должно включать и решение о том, какие именно экспе- 
риментальные исследования следует провести, в зависи- 
мости от результатов обработки уже проведенных опытов. | 
В таком плане теория управления экспериментальными 
исследованиями. сейчас еще только начинает развиваться. 
Обобщение методов последовательного анализа содержится. 
в статистической теории решений, основы которой А 
‚ были заложены Вальдом [15]. 
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$ 5. Модели принятия решений 

5.1. а принятия решений. Все задачи, решаемые 
моделями любого назначения, можно рассматривать как 
задачи принятия решений. Так, например, регрессион- 
ная модель по данному значению величины х вырабаты- 
вает оценку величины У, т. е. принимает решение о том, 
какое значение следует приписать величине У. Модель 
распознавания по наблюдаемому значению х величины Х 
определяет, к какому классу следует отнести соответст- 
вующий этому х образ, т. е. принимает решение о том, 
‚какому классу принадлежит наблюдаемый образ. Точно 
так же любую задачу оценивания можно рассматривать 
как задачу решения о том, какие значения следует при- 
писать неизвестным статистическим характеристикам, 
имея в своем распоряжении результаты наблюдений. Эти. 
соображения привели Вальда к разработке основ общей 
статистической теории решений |15]. В дальнейшем эта 
теория начала распространяться в направлении разра- 
ботки методов обоснования решений, принимаемых людь- 
ми во всех областях деятельности человека, т.е. методов 
построения моделей процессов обоснования и принятия 
любых решений. Сейчас теория решений интенсивно раз- 
вивается ’и составляет один из важнейших разделов общей 
теории управления [4, 21, 52, 61, 80]. 

В ‘простейших задачах решения принимаются при 
полной информации о возможных последствиях различных 
решений. Так, например, при построении регрессионной 
модели в случае известного совместного распределения 
_ величин Х и У полностью известно распределение оши- 
бок модели (отклонений от регрессии). При построении 
модели распознавания в случае известных условных плот- 
ностей | (х|^) (Е =1, ..., №) можно вычислить вероят- 
ности ошибок всех ВИДОВ, а если известны также и ап- 
риорные вероятности появления ‘образов различных 
классов р,, ..., рм, то и полную вероятность ошибки д. 

Однако в большей части задач практики решения 
приходится принимать при неполной информации., Так, 
например, при построении регрессионной: модели в слу- 
чае, когда. распределение величин Х и У не известно 
или‘ зависит от неизвестных параметров, распределение 
ошибки модели остается в той или иной степени неопре- 
деленным. Точно так же при построении модели’ распоз-. 
навания в случае, когда р, и [(х|Р) (#=1, ..., М) не 
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известны или зависят от неизвестных параметров (при 
проверке сложных гипотез), точно вычислить вероятности 
ошибок разных видов невозможно. 
Еще больше неопределенности в задачах принятия 
решений людьми, участвующими в управлении. В таких 
задачах возможные последствия различных решений боль- 
шей частью трудно, а иногда невозможно оценить. Реше- 
ние приходится принимать в условиях-неопределенности. 
Задача науки при этом состоит в том, чтобы определить. 
‘наиболее разумные варианты решений, связанные с наи- 
меныпим риском неудач и потерь. Мы говорим здесь-о 
наиболее разумных, а не об оптимальных решениях 
‚потому, что решения, как правило, приходится оценивать 
с различных точек зрения. Решения, оптимальные с од-. 
ной точки зрения, могут оказаться плохими _с другой 
точки зрения. Поэтому выбор определенного решения. 
практически всегда связан с необходимостью компромис- 
са между разными, подчас противоречивыми требованиями. 
5.2. Риск и функция потерь. Для построения теории 
решений необходимо прежде. всего ввести какую-то меру 
` качества решения. Пусть х— совокупность всех величин, 
характеризующих исходные данные для принятия реше- 
ния (т. е. всю информацию, которой мы располагаем для 
принятия решения —входной сигнал модели решения), 
‚ 2г— совокупность всех величин, характеризующих решение 
(выходной сигнал’ модели решения). Качество решения 
можно характеризовать функцией двух переменных г (2 |Х), 
определяющей потери (или проигрыш), к которым при- 
водит решение г при данном х. Эту функцию обычно 
называют риском, связанным с решением 2 при данном х 
(стоимостью или ценой решения 2 при данном х) *). 
Пример 12. В случае оценивания регрессии путем м МИНИМИ- 
зации среднего квадрата ошибки` при данном х качество модели 


характеризуется квадратом модуля ошибки | 2—У |?. Определив риск 
формулой =. | 


г (1) =М2—ФУРЫ = | [2—1 4х, 
можно свести задачу п. 9.2.1 к минимизации риска. 
Сы ЗЕЕ, катвмиатти сареееееРеь ИНЫХ 
_*) Вместо риска часто вводят полезность решения 2 при данном 


х— функцию и (2| х), характеризующую выигрыш (прибыль), к кото-_ 
рому приводит решение 2 при данном х. Однако с математической _ 


точки зрения это одно и то же, так как при данной полезности реше-_ 


ния и (2 | х) всегда можно определить риск, положив г (21! х) =Го— 
— и (2|х), где г, — произвольное число, `и таким путем свести задачу 
максимизации полезности к задаче минимизации риска. 


450 


Пример 13. В ие распознавания по максимуму аностери- 
_орной вероятности с правильным решением можно связать нулевые 
потери, а ошибке любого вида приписать’ потери, равные 1. Опреде- 
“лив таким путем функцию потерь 


, . при 2=, 
(у, 2) = при и, 


_ можно определить риск формулой. 
ге = мис, 2) | х}=1— не 
У РИ (10 


- =} 


— 


Тогда задача построения оптимальной детерминирован а ‘модели рас- 
познавания сведется к минимизации риска. 

Пример 14. Задача оценивания неизвестного а 9 ме- 
тодом максимума правдоподобия $ 7.2 сводится к минимизации риска, 
ОПРедЕЛНемого формулой 


- г (2 и) = Го— ви |2), 
где Е (и 0) — функция правдоподобия, а РЕ проязвОЛЬНАЙ постоянная. 


_ Способы определения риска в примерах 12 и 13 пред- 
_ ставляют собой частные случаи общего способа опреде- 
ления риска в задачах оценивания случайных величин. 
_ Этот общий способ состоит в том, что для любых воз-. 
_ можных значений у, г случайной величины У и ее оценки 
_ С потери оцениваются значением некоторой функции [(и, 2). 
_ Эта функция называется функцией потерь. При заданной. 
” функции потерь риск определяется как условное .матема- 
_ тическое ожидание функции потерь при данных значе- 
ниях х и 2: — | и 


(= му, Эа, Рим ах. = (55). 


_ В примере 12 [(у, 2) =12-у}. ав примере 13 (и, г) = 
_=1—5, ‚ (у, 2=1, ..., №). Другими примерами приме- 
няемых. в задачах практики функций потерь могут слу- 
жить [(у, 2) = —ехр{— | 2—у|},  [(у, 2) = 
А у), [(у, 2)=|, при У=Ь г=] 
(1, 1=1, ..., М). Если за функцию ‚потерь принять инди- 
‘катор некоторого множества, [(у, 2) = 1 ле (У), то риск 


величины У на это множество при ленных ^ #2. 
ее = о ФР = 


Е. = (год ау= РЕ) 
й в а 
15* 
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будет равен условной вероятности попадания случайной — | 


При этом чаще всего за множество А (г) принимают круг. 
некоторого радиуса а с центром в точке, г в простран- 
стве значений величины У (интервал (г—а, 2+ а) в слу- 
чае скалярной величины У). При этом риск определяется 
формулой 

г (21) = РУ —2| >а|х). 


Формулу (55) можно формально распространить и на 
задачи оценивания неслучайного параметра у=0. Для 
этого достаточно подставить в (55) выражение условной 
плотности ] (у | х) из формулы умножения плотностей (4.23) 
и воспользоваться формулой (4.8). Тогда получим, 


\ и, 2) [а (и) [а (х| у) ау 


г(г| х) = 
рыла а 

В случае равномерного распределения У.в некоторой 
области В функция ], (и) постоянна в области В, вслед- 
ствие чего предыдущая формула принимает вид 


реа 
В 
га =, 
| брома 
В и 

Если функция [(х|у) интегрируема по у по всему про- 
странству значений величины У, то можно формально 
перейти к пределу, когда область В неограниченно рас- 
ширяется и стремится совпасть со всем пространством 

значений величины У. В результате получаем 


\ эро а 
ло 


а = О 


Эта предельная формула имеет смысл только тогда, ког- 
да у представляет собой неслучайный параметр,. так как 
никакая случайная величина не может быть равномерно 
распределенной на всем пространстве ее значений. По- 
этому формулой (56) обычно определяют риск в задачах 
оценивания неслучайных параметров (или параметров, 
относительно которых не известно, случайны они или 
нет). Положив, в частности, [ (у, 2 = —6 (2— и), полу- 
чаем ге =ию—с (х) (*|2), где чеРеЗ 241) обозначена 
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обратная величина интеграла в знаменателе формулы (56). 
Таким ‘образом, взяв в качестве функции потерь отри- 
цательную 6б-функцию —6 (2—9), можно свести оцени- 
вание параметров по методу максимума правдоподобия ` 
к минимизации риска. Постоянное слагаемое г, и множи- 
тель с(х), зависящий только от значения х наблюдаемой 
величины Х, при этом не играют никакой роли, и Г, 
вводится только для того, чтобы формально не получать 
отрицательных значений риска (с математической точки 
зрения без потери общности всегда можно принять И, =0, 
так же как и в примере 14). 

В задачах решения, в которых целью не является 
выработка оценки какой-нибудь случайной или неслу- 
чайной величины, риск нельзя определить с помощью 
‚ функции потерь так, как это делается в задачах» оцени-_ 
вания. Поэтому в таких задачах приходится непосредст- 
венно определять риск г(2|х). как функцию исходных 
данных х и решения 2. Сейчас разрабатываются методы 
‘определения риска (или полезности) для различных за- 
дач принятия решений с учетом индивидуальных пред- 
почтений и черт характера людей, которые должны при- 
нимать решения [61, 80]. 

Если риск представляет собой скалярную величину 
(задача решения однокритериальна), то имеет смысл гово- 
рить об оптимальном решении, минимизирующем риск. 
Однако во многих задачах практики при выработке ре- 
шения приходится руководствоваться многими критери- 
ями, которые невозможно свести к одному скалярному 
критерию (многокритериальные. задачи решения). В таких 
случаях риск представляет собой векторную функцию и 
_об оптимальных решениях, строго говоря, речи быть не 
может. Действительно, в общем случае не ‘существует 
_ решения, для которого все координаты векторного риска 
одновременно имеют минимальные возможные значения. 
Тем не менее на практике часто говорят об оптимизации 
по векторным критериям, подразумевая под этим выра- 
ботку приемлемого решения, достаточно хорошего с точ- 
ки зрения всех скалярных критериев. Существует ряд 
методов для. выработки таких приемлемых решений [29]. 
Все.они в той или иной степени включают определение 
решений, оптимальных с точки. зрения. каждого скаляр- 
ного критерия по отдельности. Поэтому мы рассмотрим 
здесь кратко основные принципы построения моделей 
решения, основанных на минимизации какого-нибудь 
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Е 1% 


одного критерия (скалярного риска). Методы увязки таких 


‘частных оптимальных решений и нахождения приемлемых 


решений с учетом ‘нескольких критериев увели бы нас 
далеко за рамки этой книги, и мы их рассматривать не 
будем. . 

5.3. Оптимальные решения. Рассмотрим сначала зада- 


чу оптимизации решения, не ограничивая класс возмож-. 
_ ных решений. При этом мы должны будем рассматривать 
_ не только детерминированные, но.и стохастические модели 


решения. Стохастическая модель вырабатывает решение, 
представляющее собой реализацию случайной величины 2, 
в соответствии с некоторым распределением. Это распре- 


от параметра, называется решающей функцией стохасти- 


‚деление, конечно зависящее от входного сигнала .х как. 


ческой модели решения. Поскольку мы рассматриваем. 
здесь только конечномерные случайные величины, можно | 
считать, что решающая функция задается плотностью. 


5 (2|х). Детерминированная ‘модель, вырабатывающая. 


определенное решение 2=Ф (х), представляет собой 
частный случай стохастической модели, когда б (2х) = 


=6 (2 —Ф (х)). 


Для стохастической Е риск как функция случай- Е 


ного решения Г сам представляет собой случайную вели- 


- чину г (2 |х). Поэтому оптимальной стохастической моделью 
называется модель, минимизирующая математическое ожи- 


дание риска (т. е. средний риск) при д данном х- 


ов = м2 (2198415). 69. 


Без всяких выкладок ясно, что если существует такая 
функция 2=ф(х), при которой риск г (ф (х) | х} имеет наи- 
меньшее возможное значение г (ф (х)|х) = 17 г (2 | х) при лю- 


бом х, то детерминированное решение 2=() будет. 


оптимальным среди всех возможных решений и. никакая 
стохастическая модель не может быть лучше детермини- 


рованной, принимающей г=ф(х) при любом х. К этому. 


же выводу приходим и математически. Если г (ф (х) | х) = 
= г (21), то г(2|х) >т(ф(х)|х) при любых х и 2, 


— 


вследствие чего 


2619 > (и рдбе 942 =7 (6691 - 


ь : $ 
для любой решающей функции 0 (2 | Хх). 
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Так как условное. математическое ‘ожидание т, (х) = 
= МУ [х] представляет собой функцию, для ‘которой 
средний квадрат ошибки М || 2—У [?|х| достигает точной 
нижней грани при всех х (п. 3.2.4), 


М [т, () УР] = ШЁЕМ [| УР Хх], 


то из доказанной теоремы следует, что никакая стохас- 
тическая модель прогноза или дценивания случайной вели- 
чины У по результатам наблюдения х не может быть. 
лучше оптимальной детерминированной модели, работаю- 
щей по регрессии. Этот вывод дополняет результаты 
ВАЗЕ. 

Точно так же в задаче распознавания п.4. 5 сущест: 
вует функция 


у(х) = при. ры] (ХА) = - пах {7 (510 Ем 


минимизирующая риск примера 13 при всех х. Поэтому 
‘не существует стохастической модели распознавания, луч- 
шей, чем оптимальная детерминированная модель. 
Если при любом х существует непустое: множество 
| : 
Ва (а) НИТ (2), 
2 4 


то любое распределение вероятностей, полностью сосре- 
доточенное на множестве Р., будет решающей функцией 


_— стохастической оптимальной системы, так как для любой 


плотности вероятности 6 (2|х), равной 0 вне О, 


о (5 |х) = \ г (21%) 6 (2| х) ах= шШЁг (2|х). 


Хх 


_ В этом случае существует бесчисленное множество опти- 
мальных систем, как детерминированных, так и стохасти- 
_ ческих, и все они равноценны, средний риск р (6 | х) для. 
них- имеет одно и-то же значение. 

Если точная нижняя грань. Ел (21%) не достигается 
ни ‚при ‘каком конечном г в области возможных значе- 
ний х, то оптимального решения не существует. Однако 
по определению точной ‘нижней грани ‘всегда существуют 
значения 2, при которых риск г (2|х) как угодно близок 
к точной нижней грани. Поэтому для произвольного 
= > 0 существует множество значений 2, для которых риск. 
г (2|х) отличается от своей нижней грани при данном х 
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не болыпе чем на 8: 
Ва ти (21х)<8|. 


Для любой плотности (25), равной 0 вне и. р», 


р(8[х)= \ а 


‚ре: 


Ра 


Таким образом, всегда существует бесконечное множество. 


решений, как детерминированных, так и стохастических, 


_как угодно близких к`оптимальному (в том смысле, что 


средний риск для них как угодно близок к своей точной 
нижней грани). Все эти решения с практической точки 


зрения не отличаются от оптимального. Поэтому с практи- 


№ 


ческой точки зрения всегда существует множество 


оптимальных решений, даже тогда, когда математическая 


задача оптимизации не имеет решения. 

5.4. Оптимальные решения в данном классе функций. 
Если оптимальное детерминированное решение ищется в 
ограниченном классе функций Ф, то: в общем случае оно 
не может быть оптимальным при каждом данном значе- 


нии х. В таких случаях, как ивп. 9.2.1, приходится , 
ставить задачу минимизации среднего риска в данной 


области изменения х. Так же как и в п. 9.2.1, прихо- 
дим к выводу, что при любом методе осреднения г (2х) 
можно считать х значением случайной величины Х и 
минимизировать Мг (г (Х) |Х). 

Пример 15. В условиях примера 12 оптимальное детерминиро- 


ванное решение 2 (х) в данном классе функций Ч. определяется _ из 
условия минимума величины 


Мг (е (ХХ) = (дах (129 -—и Г 4х, 
| | | 
5.5. Принятие решений в условиях неопределенности. 


Оптимальные или близкие к оптимальным модели реше- 


ния, минимизирующие средний риск, могут быть реали- 
зованы или хотя бы исследованы только в том случае, 


когда риск г (2 | х) представляет собой известную функцию. 


Однако во многих задачах риск невозможно определить 
как известную функцию, так как при одних и тех же 
значениях х и 2 последствия решения г.точно определить 
(прогнозировать) невозможно, вследствие того что они 
зависят от многих неизвестных факторов, как случайных, 
так и неслучайных. Если действие всех этих факторов 


можно охарактеризовать в каждом конкретном случае 
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х 
С 
конечным набором чисел, то риск иногда удается пред- 
ставить как известную функцию х, 2 и неизвестного век- 
торного параметра © (параметризовать риск). Обозначим 
его через г (2|х, 0). Тогда и средний риск при данной 
решающей функции 6 (2|х) будет зависеть от 0: 


р(б[х, 0) = (1х, 6) 8 (2х) аг. (58) 


Минимизация среднего риска в этом случае даст опти- 
мальную решающую функцию бъ(2|х), тоже зависящую 
от 09. Вследствие этого такая оптимальная решающая 
функция не может быть. реаЛизована. Однако соответст- 
вующее оптимальной решающей функции значение сред- 
него риска р (бо|х, 09) можно использовать для оценки 
качества неоптимальных решений, принимаемых при от- 
сутствии полной информации о значении 9. Для любой 
решающей функции 6 (2|х) потери вследствие неопреде- 
ленности можно при каждом данном значении 0 оценить 
разностью’ 


А(х, Ор, 0) —р (вех, 0), 


_а относительные потери отношением А (х, 0)/о (бо|х, 0). 

Для оптимизации решений в условиях неопределен- 
ности применяются два ‘основных подхода. Первый под- 
ход основан на том, что 0 считается значением некоторой 
случайной величины 9 и риск заменяется ‘его математи- 
ческим ожиданием при данных хи 2. Второй подход 
основан на том, что при каждой паре значений х, г 
риск заменяется его точной верхней гранью для всех 
возможных значений 0. 

Предполагая, что 9 представляет собой значение слу- 
чайного вектора ©, а входной сигнал х— значение ‘слу- 
чайного вектора У. зададим априорную плотность 4 (9) 
вектора © и условную плотность р(х|09) вектора Х при 
данном 9. Тогда апостериорная плотность @(9|х) опре- 
делится в соответствии с (4.23) и (4.8) формулой 


обо. (59) 
Дар) а 


Математическое ожидание ры при данных хи г опре-. 


делится форму ЛОЙ 3 


г: (2х) = (2х, 6) (01 х) 0. = (60) 
ж. | о 


_ Заменив’ в (58) риск г(х|2, 0) его апостериорным мате- 


А: 
РЁ. 


матическим ожиданием г, (2|х), можно искать оптималь- — 


ные или близкие к оптимальным решения, минимизиру- 
ющие математическое ожидание: г: (2х) при данном х, 
р: (81) = М [и, (21%) [х]. | 

Формула (59) представляет собой ‘очевидное обобще- 
ние формулы Бейеса (1.23). Поэтому подход, основанный 
на замене риска его апостериорным математическим ожи- 
данием, обычно называется бейесовым, а оптимальные 
_ решения в этом олучае называются бейесовыми РА 
ниями. 


Качество бейесова решёния можно характеризовать = 


апостериорным математическим ожиданием Е разности 
Ах 6) =р (6х, 9) —рбь|х, 0): 
А, (д =} А(х, 0) о (915) 40. 


+ 


Слабостью бейесова подхода является необходимость 


задания априорного распределения «@ (0), для определе-_ 
ния которого обычно нет никаких данных. Поэтому его _ 


приходится задавать произвольно, в частности, принято 
считать его равномерным в достаточно широкой области. 
Эта априорная неопределенность приводит к некоторой 


неопределенности в соответствующих оптимальных реше- 


ниях. Однако, если размерность вектора х значительно 
больше размерности вектора 0 (не меньше чем на 20-30), 
то апостериорная плотность @ (9 |х) практически не зави- 
сит от априорной плотности & (9) и найденные изложен- 


ным способом оптимальные и близкие к оптимальным 


‚ решения практически не зависят от & (0). Это в известной 
мере оправдывает бейесов подход. Фа он ‘широко 
применяется на практике. 

Желание усовершенствовать бейесов подход, освобо- 


дить его от априорной неопределенности привело.к по-. 


явлению эмпирического бейесова подхода, основная идея 
которого состоит в том, чтобы путем проведения допол- 


‚нительных опытов получить возможность оценивать _ 


© (90| х) без знания « (0) [22, 88—91]. 
Если отказаться от предположения, что 09— возмож- 


ное значение некоторой случайной величины, то естест-. 


венно. рассчитывать на наихудшее стечение обстоятельств. 


В этом случае при любых хи риск г(2|х, 0) заменя-. 


ется точной верхней гранью множества значений г (2 |х, 6), 
соответствующих всем возможным значениям 09, т. е. 
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величиной | 
ге] з0рР[, 9). 
9 


Заменив в (58) риск г(2|х, 0) его верхней гранью г, (г |6), 
можно искать оптимальные и близкие к оптимальным 


‘решения, минимизирующие среднее значение г, (2 |х) при 


данном х, р. (6 [х) = М[г, (2[х) [х]. 

Оптимальные решения при таком подходе МИНИМИЗИ- 
_руют максимально возможное значение риска. Поэтому 
подход, основанный на замене риска его верхней гранью, 
обычно называется минимаксным,; а сптимальные реше- 
НИЯ В ЭТОМ случае называются минимаксными решениями. 

Качество минимаксного решения естественно харак- 


теризовать верхней гранью разности А (х, 0) =р (6 [х, 9) —- 


— р (бо[х, 9}; 
А, (х) =зир А (х, 6). 
0 


Достоинством минимаксного подхода является то, что 
он не требует задания каких-либо произвольных функ- 
ций. Его недостаток состоит в-том, что он основан на 
_ расчете на наихудшее стечение ‘обстоятельств, которое, 


как правило, маловероятно. Поэтому минимаксные реше-_ 


ния, минимизируя максимальные возможные потери, часто 
приводят к излишне большим потерям —малым выигры- 


_шам— при наиболее вероятных реальных стечениях обсто-_ 


ятельств. Иными словами, минимаксные решения чересчур 
‘осторожны. 

5.6. Обучение меделей принятия решений. Бели не- 
определенность слишком велика, т. е. разброс возможных 
значений риска при данном х слишком велик для любого 
решения 2, то можно поставить вопрос о получении до- 
полнительной информации для принятия решения с целью 


уменьшения неопределенности. Чем болыше дополнитель- 


ной информации получено, тем меньше будут потери. 
Однако получение любой информации связано с затратами 


средств и времени, что приводит к увеличению потерь... 


Таким образом, получение дополнительной информации 
приводит, с одной стороны, к уменьшению ожидаемых 
потерь за счет возможных последствий принимаемого 
решения, а с другой стороны, к увеличению ‘потерь за 
счет стоимости информации. Поэтому возникает задача 
определения оптимальной дополнительной в 
при которой суммарные ожидаемые потери минимальны. 


459 


Пусть и —вектор, определяющий дополнительную ин- 
формацию, с (и |х) — затраты на получение информации и, 
приведенные к тем же единицам, в которых измеряется 
риск, т. е. потери, связанные с возможными последстви- 


—’ ями принимаемого решения. Функция С(и|х) в общем 


случае зависит от значения вектора и, от его размерно- 
сти, характеризующей объем получаемой информации, 


И от того, какие именно величины служат его коорди-_ 


_натами. 

При бейесовом подходе 0, хи и считаются возмож- 
‚ ными значениями некоторых случайных векторов ©, Хи 
И и для них задаются априорное распределение « (9) 
вектора ©9, условное распределение р (х |9) вектора Х при 
данном 9 и условное распределение 49.(и|х, 0) вектора Ц 


_ при данных хи 0. Определив ВПОЕтеВорн © плотность. 


нот 
о (@х, и) = ар (19 аи, 6) 
\ ()р(х|1)9 (их, п) ат 


можно заменить "в (58) риск его ‘апостериорным матема- 
тическим ожиданием 


ге х, и) = \+ (2х, 9) ® (0х, и) ад 


р 
°иИ после этого искать оптимальные или | близкие. К ОПТИ- 
мальным решения, которые, конечно, будут зависеть от и. 


Поэтому обозначим оптимальную решающую функцию. 


через д,(2|х). Суммарные потери для модели с такой ре- 


шающей функцией при данных значениях х, 9 иц опре-_ 


деляются формулой 


В (6,|х, ‘и, 0) =р (6, |х, и, 0) Е с(и|х)= 


— \ г(г|х, 0) 6, (2х) аг-+с(и|х). (61) 


Однако значение вектора и, так же как и значение па- 


раметра 9, заранее, до получения дополнительной инфор- 
мации, не известно. Поэтому для принятия решения о 
получении: дополнительной информации, о ее составе и 
объеме необходимо определить средние потери, т: е. мате- 
матическое ожидание потерь с учетом случайности. вели- 
чин © и 0. Для этого следует умножить (61) на совмест- 
ную. плотность величин © и И при данном х и проинтег- 
“рировать по ди и. В ата: получим средние 
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И р 1} Зе АНАЕЫ НН кие, 


ИТ 
дла ме пала АВЫ, 


суммарные потери при данном х: ее 
0, «=\\ А (6, [х, и, 0) в (91 х) 9 (и|х, 9) 49 аш. (62) 


В ряде задач решение о получении дополнительной 
информации приходится принимать до того, как будут 
известны исходные данные для принятия решения, т. е. 
вектор х. В таких случаях необходимо определить сред- 
ние потери с учетом случайности всех трех величин ©, 
(и Х. Для этого следует умножить (61) на совместную 
плотность величин ©, И и Х и проинтегрировать по 6, 
ци х. Тогда получим средние суммарные потери 


о= АВ, [х, ш, 6) а (8) р(х18) 9 (и|х, 0) 4 ахаи. = 
| (63) 

Задача определения оптимаЛьного объема и состава 
дополнительной информации сводится к минимизации 
величины (62) или (63) путем выбора состава (конкрет- 
ного содержания) и размерности вектора и. 

При минимаксном подходе получение дополнительной 
информации суживает пределы возможных значений 0 и, 
следовательно, приводит к уменьшению верхней грани 
риска, т. е. к замене г,(2|х) величиной 


та (2х, и) ри г(г|х, 0), 


где В (и) — область возможных значений 60 при данном и. 
_Получаемое в результате оптимальное решение тоже за- 
висит от и. Поэтому, как и в предыдущем елучае, обоз- 
_начим оптимальную решающую функцию. ой (г1х). Сум- 
марные потери для модели с такой решающей функцией 
при данных значениях х, 9 и и определяются формулой _ 
(61). Продолжая последовательно идею минимаксного 
подхода, будем. вести расчет при неизвестных 9.ии на 
_ наихудший она, т. е. по максимальным суммарным 
потерям а 
в, (х) =зир зир ВЮ (6/|х, и, 0). (64) 
вы и 0ЕВ\(и) | Е. 


Если решение о получении дополнительной информации 
принимается до того, когда становится известным х, то 
величина о, (х) должна быть заменена. величиной . 


о, = зир зир К (6, |х, и, 0). _ .(65) 


Хх, и ОЕВ (и) 
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Задача определения. оптимального состава и объема 
информации в этом случае сводится к минимизации ве- 


‘личины (64) или (65) путем выбора состава и размерно- 
_сти вектора и. 


Улучшение качества решения путем ввода в модель 


_ дополнительной информации — вектора и — представляет 


собой обучение модели решения. Оптимизация процесса 


обучения _ достигается _ минимизацией одного из выраже-_ 


ний (62) —(65) в зависимости от метода построения мо- 
дели и условий ее применения (обучение до применения 


или обучение в процессе применения после наблюдения _ 


каждого очередного значения х). Бейесов подход к про- 
блеме обучения автоматических систем развит в [75—80]. 
Кроме рассмотренных подходов к обучению модели 


‚принятия решений, ВОЗМОЖНЫ И другие ПОДХОДЫ, оСнНо-_ 


ванные на различных методах оценивания неизвестных 


параметров. В связи с этим возможны и другие поста- 
_новки и методы решения задачи оптимизации процесса 


обучения модели. \ 
Кроме рассмотренных задач оптимизации без ‘ограни- 


чений, в теории решений возникают задачи оптимизации. 


решений при различных - ограничениях. Ограничения 
могут накладываться на множество допустимых решений, 


как в примере 15, или на область допустимых значе-. 
ний 2, или на какие-либо другие функции вида $ (2 | х) 
(например, на другие координаты векторного риска). 
_ Методы решения таких задач также разрабатываются в. 


современной теории решений. : 


` 


И, РИ Я УТ И РЕ МУЧЕИННЫИО 


| ' , ИН й 
9 ИН, 
ИУ" т 


й 


терехода, рассмотрим функщию, 
| 1 Е 
= 27 при. 1% < р 
7 при [х|.> г 
а функция называется в жека одиничным прямоугольным 


пульсом.- йе : 
ЭЕРВАО, что Ир любом = > Е: 


А. 5, ©) 4х — _- 6, я ева 


> $ в 
7 ы =. [ей в. ИЕ — зах, ть (х) б (х— ‘ ах. 
ЕН а а 


сепован @) при любом Е "ыы =. 


. ь = и 
ово ые- —— мы 


— 


‚именив к последнему интегралу теорему’ о среднем, получим. 
Ее: 6 6. =: 


(+ © 6, ие ( ФФыи-ша =), = р. 
| ЕР. ий. “При любом «бе Е оба „интеграла 
‘ра гы нулю. 'Наконец, 

св 


— {чоде-я п ь-вы} (а 5. 


Е ж „ = = еж 


* 


о фро и, $—9 Е. +69 у ивр 69; 


== ое г еж 


Е а@+0, хее— 5. 


# \ г у ‘ р ‹ : ® 


Е. Перейдем тепсрь в предыдущих формулах к пределу при 1—0. 
Ясно, что 0,(х) при этом не имеет предела в обычном смысле, 
Однако все интегралы в (3) и (4) имеют вполне определенные пре- 

‚ делы. _ | 3 | 
_ Рассуждая формально, приходим к выводу, что 0(х) =0 при 
любом х 72 0, 6 (0) = ®, причем площадь «всплеска» в бесконечность 
функции 6 (х) в начале координат равна 1. Ясно, что 6 (х) не суще-. 
ствует как обычная функция. Она относится к классу обобщенных. 


функций. | | 
Формальный переход к пределу в (3) и (4) при 1 —0 дает 
Ь В 
\‹ (х) 9 (и—х) ах= \ ф(х) 6 (х— и) ах=ф (и), чёц, 6), (5) 
а а 


5 Ь 
| (х) 6 (а—х) = | ф (х) 6 (х— а) = (а), 


Ь Ь (6) 
\ (х) 6 (6—4) = \ Ф (х) 6 (х— 5) = Фф (5). 


При и [а, Ь] сба интеграла в (5) равны 0. 
в _ Положив в первой формуле (6) а=0, 6 ==, а во второй а==— а, 
6 —=0, получим при Ф (х) ={1 я 


\з (х) ах = \ 6 (х) = при любом => 0. (7) 
0 2. | 


Функция 6(х) представляет собой предел функции 6, (х) при 
[ —0Ов том смысле, что для: любой непрерывной функции Ф (х) 


[= [#2] 


\ . (х) 6 (х) 4х — т \ Ф ео (х) ах. _ (8 


В таких случаях говорят, что 6; (х) слабо сходится к 6 (х) и 6 (5) 
Е представляет собой слабый предел функции 61 (х). | 
# Таким образом, обобщенную функцию 6 (х) можно определить 
совершенно строго как слабый предел обычной функции 6; (х). Так 
определенная функция 6 (х) называется импульсной дельта-функцией.. 
‚` Или, короче, 6-функцией *). Формулы (5), .(6) и (7) представляют 
собой определяющие свойства б-функции. 
Заметим, что интегралы в. (5)—(8) по определению’ представляют 
собой пределы соответствующих интегралов, содержащих функцию 
6; вместо. б-функции, при /—0. Только так следует понимать. 
интегралы от обобщенных функций. 
Из (5) и (6) при Ф(х) ==1 следует, что интеграл от 6-функции. 
в пределах от — < до и представляет собой единичную ступенча- 


*) Дельта-функция была впервые введена в науку известным 
английским физиком Дираком. Поэтому ее часто называют дельта- 
функцией Дирака. Е 

.. = С «< 
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эф 


‘тую функцию: 


о при и<0,. 


при и> 0. 


_ Отсюда следует, что б-функция представляет собой ‘производную 
‚единичной ступенчатой функции. 


Совершенно так же, взяв четную функцию 6, (х), имеющую не- 


_ прерывные производные до порядка р включительно, определим 


производную 6-функции порядка р как слабый предел функции 
6%2(х). При этом для ‘любой функции Фф(х), непрерывной вместе со 
СВОИМИ производными до порядка р включительно, будет справед- 
лива формула 


(Фор ы = (ИР [о ©6179 ©. (9 


Эту формулу можно принять за определение р-й производной 
б-функции. 


Из (10) следует, что для любого иЕ(а, 65) и для любой функ-. 


ции Ф (х), непрерывной вместе со своими ОЕ до порядка р 
включительно, - 


Ь Ь 
с: (9 Рид =(-0Р <) 5 ие. (и) 


о И получаются также из (5) формальным иеренииве 


ванием по и. Таким образом, в интегралах, содержащих 6б-функцию 


_или ее производные, можно выполнять дифференцирование по пара- 


метру под знаком интеграла сколько угодно раз. 

Аналогично определяется 6-функция векторного аргумента. 
Очевидно, что дб-функцию векторного аргумента х={л1, ‹.., хи} 
можно определить как произведение б-функций всех координат 
вектора х: 


О 


_ Так как 6б-функция в силу (7) обладает свойством (2.11) плот- 
ности, то ее можно рассматривать. как слабый предел любой четной 


- плотности при стягивании ори ею распределения в начало 


координат: 


5 (9 = т (из), (13). 


где = (у) — любая плотность. 


_б-функции интегралом Фурье. Чтобы выразить 6-функцию интегра-. 
лом Фурье, заметим, что любая непрерывная функция Фф (х), отлич-_ 


В приложениях часто приходится пользоваться представлением 


ная от нуля только на некотором конечном интервале, может быть 
представлена интегралом Фурье: 


Фи =5- |} & (ее еЁ\. *—и) 4х. 
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Изменив здесь формально порядок интегрирования, получим 


[®.=) {® =] 
: - Фи = \ 69 т у ии аХ | 4х, . 
_© _х® 
Сравнив эту формулу с (5) при а= —®, 6=® и приняв во 


внимание, что обе формулы справедливы для любой функции фа 
рассматриваемого типа, приходим к выводу, что 


и 


мо | в {14) 


Повторив эти рассуждения для случая векторного аргумента х, по- 
лучим представление б-функции п- м вектора х Иа \ 
Фурье: 


б а отт | еТх 4), (15) 


где векторы х и А представлены в виде матриц- столбцов. Эта фор-. 
мула получается также из (14), если выразить б-функцию вектора х 
формулой (12). 

Интегралы в (14) и (15) расходящиеся. Ясно, что: 6- -функция. не 
может выражаться сходящимся интегралом, так как любой сходя- 
щийся интеграл, зависящий от ‘параметра, представляет собой обыч- 
ную функцию этого параметра, в то время как 6-функция представ- 
ляет собой обобщенную функцию. 


2. Некоторые определенные интегралы 


При изучении нормального распределения приходится пользо- 
ваться формулами 


а [2 ь 
11-0 Эл 
| е А = = (1) 
У > т х 
| 2--= Ё С он -—-Ш С > 
2 (2л)" 2 
е == ——е ь 2 


где \—в общем случае комплексная величина (скалярная в (1) и 
векторная в (2)), с комплексная величина с положительной дейст- 
вительной частью, С —симметричная матрица с комплексными эле- 
ментами, действительные части которых образуют строго положи- 
тельно определенную матрицу, | С | — определитель матрицы С. 

Для вывода формулы (1) применим метод дифференцирования 
интеграла по параметру. Для этого положим 

ыы #” 


ее г 
1 (1) = |. ан м. 


` © 
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_Дифференцируя эту формулу по параметру 1 в интегрируя по час- 
тям, получаем | 


в Е с1? ь 1 я ви СЁ? : р п: ыы СЁ. 
ит ет а, 
«/ : с С 
=> ОВ _© = 
или — 
Г (= 1 (9. | (3) 


| | Е. 
Таким образом, мы получили дифференциальное уравнение для / ('). 
Чтобы полностью определить / (1), необходимо добавить к уравне- 
нию (3) начальное условие. Для определения начального условия 
достаточно вычислить интеграл / (1) для какого-нибудь одного зна- 
чения параметра 1. Проще всего вычислить 


я те СЁ? 


1(0)= \е 20. — (4) 


Так как этот интеграл не зависит от обозначения перемейной интег- 
рирования, то формулу (4) можно также ‘написать в виде 


ие 
го= (е ? 4. : (5). 


Перемножая почленно равенства (4) и (5), получим 


( сё ( — — 0$2 — 

1? (0) = е- & е @$ = 

| Ре в | 
тео В р \ На" = © С аа. < 

- \ [* . Ре @ = \ \е я АЕ 4$.. (6) 
-х \-ю В | 


Рассмотрим сначала случай действительной (а следовательно, поло- 
жительной) величины с. В этом случае двойной интеграл (6) легко 
вычисляется переходом к полярной системе координат. Положив 


Ус #=0с0$ ф, Ис5=озшф 


и имея в виду, что | | . 
ы 5 с0$ ь В Ф 
РЕ о. Я Ис Ус ой 
а зтф. —Р_ соз т 
бр 95| |Уг т 
получим 
ру. ЗЕЕ. ЕЕ 
ты 0 | аф |. 2  рар=—. 
0 0 
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Отсюда находим 


7 © 1 Е | : 

- РР; Е" Вх 
-  Ко= |. 2 = =: 2-8) 
—© 


Рассмотрим теперь случай комплексной величины_с. Положив. 


ге=с|е®, {=е`“/?т, приведем интеграл (4) к виду 


а 


где интегрирование производится по прямой комплексной плоскости, 
проходящей через начало координат под углом Ф/2 к действитель- 
ной ‘оси. Для вычисления полученного интеграла рассмотрим на 


те 


ной т замкнутый контур, состоящий 


(0, ®), дуги окружности (Ю, Юе/?) 
радиуса К и отрезка’ (Ве ®/?, (0) 
прямой, по которой производится 
интегрирование в (8) (рис. 38). Так 
как подынтегральная функция яв- 
‚ ляется аналитической функцией, не 
# Ре] имеющей особых точек в области, 
` Рис. 38. _ ограниченной этим контуром, то ин- 

теграл по’этому контуру равен 0_ 

при любом Ю. А так как Ке {с} > 0 и, следовательно, |ф|] < л/2и 


Ке {12} > 0, то интеграл по дуге окружности (Ю, Ве! ®/?) стремится 
к 0 при Ю —+ о. Поэтому при В —+ ® получаем равенство 


с 0. 


Те = ет 
\ е 4 \ е 4т=0, 
0 1/2 
откуда следует, что ы 
ф/2 | 
[1 те 
\ е а \ е т 
8 0 
Аналогично приходим к выводу, что 
у = ет - ее 
{= е = \ е ` ат. 
#ф/2 =: —х® 
Следовательно, с 
#ф</2 
—— |511? — —=— | с] 12 
Ча == \ е т. = 
1ф/2 —< 
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комплексной ПЛОСКОСТИ переменся 


из отрезка действительной осй,. 


„Ч 


Подставив это ее в (8) и пользуясь формулой (7), получаем _ 


т И 
1 (0) = [2 И =- Те] е® Е 5 : » 


Таким образом, формула (7) справедлива и для любого комплекс- 
ного с с положительной действительной частью. 

Интегрируя дифференциальное уравнение (3) при начальном 
условии (7, получаем 


1 (7) = ® В 

что и доказывает формулу (1). Е 
Для доказательства формулы (2) приведем матрицу С ортого- Е 
нальным. преобразованием к диагональной форме. В результате по- 


‚лучим АТСА=Л, где Л —диагональная матрица, элементами кото- 


рой служат собственные значения Ал, ..., Ан матрицы С (п— раз- 
мерность вектора Ёв (2) и. порядок матрицы С), а А — ортогональ- 
ная матрица, АТА =/; Преобразование пц=Аё Ё=А$ дает 
171 — ЕТАТ Аб — ЕТ, ИС—=5ТАТСАз =5ТА$, и интеграл (2) приво- 
дится к виду (с учетом т [А |=1) ть - 


о ТЁ.-— 7 С ЕТ РВ = А 5 | 
\е ее \е 2 а: \е а 7 
= | — < | Е=1 -ю 


Таким образом, интеграл (2) приводится к произведению интегра- 
лов (1). Пользуясь формулой (1), находим 


=== 


© 
1 ” 
| Ах -> { Тс Е Е = &Тд-1 
. Иа йа : 
-_® 


Подставив сюда выражение Ед АТу и имея в виду, это про- 


_ Иизведение собственных значений матрицы равно ее определителю, 


А = С-В: Что: АА- и 1, получаем фор- 


мулу (). 


3. Таблицы’ 


Таблица 1 
Функция Лапласа. Ф (и) = У: е-Ё 12 41 
| л 


нь ее 
0,0000 | 0040 0080 _| 0120 0160 0199. |0239 |0279 |0319 10359 
0398 | 0438 |0178 |0517 10557 10596 |0636 10575. 10714 10753 
0793 |0832 |0871 | 0910 10948 10987 11026 |1054 |1103 1141 | 
1179 | 1217 |1255 | 1293. | 1331 |358 11406 11443 11480 |1517 | 9. 


0 

| 

2 

3 | 
4| 1554 |1591 |1628 | 1664 | 1700 11736 |1772 11808 1841 |1879 
‚5| 1915 | 1950 | 1985 12019 |2054 [2088 |2123 [2157 |2190 |2224 
6 

7 

8 

9 


< 


#5 |5 


0 
| 6 


2257 | 2291 |2324 |2357 |2389 |2422 |2454 |2486 |2517 |2549 
_ 2580 | 2611 |2642 |2673 |2703 [2734 [2764 |2794 |2823 [2852. 
° 2881 | 2910 |2939 |2967 |2995 [3023 |3051 13078 13106 3133 
3159 | 3186 |3212 |3238 |3264 [3289 |3315 13340 13365 13389 


0| 3413. | 3437 |3461 |3485 | 3508 13531 13554 |3577 13599 13621 
1| 3643 | 3665 13686 |3708 |3729 13749 |3770 13790 13810 |3830 
2| 3849 |3869 |3888 |3907 |3925 [3944 |3952 |3980 13597 |4015 
3| 4032 | 4049 |4066 14082 |4099. |4115 14131 |4147 |4162 ]|4177 
4| 4192 | 4207 |4222 | 4236 |4251 14265 |4279 |4292 |4306 |4319 
‚5| 4332 | 4345 |4357 |4370'` | 4382 14394 |4406 |4418 14429 |444 1 
6! 4452 | 4463 |4474 |4484 |4495 |4505 14515 |4525 |4535 |4545 
7| 4554 | 4564 |4573 |4582 |4591 |4599 |4608 |4616 |4625 |4633 
8| 4641 | 4649 |4656 |4664 | 4671 |4678 |4686 |4693 |4699 |4706 
9| 4713 [4719 |4726 | 4732 14738 14744 [4750 |4756 |4761 14767 
0 

| 


47725].47778 | 47831 | 47882 | 47932 |47981148030148977\48124148169 
48214] 48257 | 48300 | 48341 | 48382 |48422|48461|48500,48537|48574 
2| 48610| 48645 | 48679 | 48713 |-48746 |18778|48809]48840]48870148899] 
3| 489281 48956 | 48983 | 49010 | 49036 |49061149086|49111149135149158] | 
4| 49180] 49202 | 49224 | 49245 | 49266 |49286|49305]49324|49343|49361 
‚5| 49379] 49396 | 49413 | 49430 |.49446 |49461149477|49492149506]49520 
6| 49534] 49547 | 49560 | 49573 | 49585 |49597|49609]49621149532|49643 
,'| 49653| 45654 | 49674 | 49683 | 49693 1497021497 11149720]49728|49736 
;8| 49744] 49752 | 49760 | 49767 | 49774 149781149788|49795|4980 1149807 
‚9| 49813] 49819 | 49825 | 49831 | 49836 |49841149846149851149856]49861 


: ь * 


3 олово 49903 49931 | 49952 | 49966 |49977|49984149939|49993149995 


4,0| 0,499968 
4,5| 0, 499997 
5,0| 0,49999997 
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: Таблица 2 
Производные функции Лапласа 


Функция Ф’ (и) = е- и" 12 


| 
У2л 


3989 | 3989 | 3988 | 3986 | 3984 | 3982 | 3980 | 3977 | 3973 
_ 3965 | 3961 | 3956 | 3951 | 3945 | 3639 | 3932 | 3925 | 3918 
3902 | 3894 | 3865 | 3876 | 3867 | 3857 | 3847 | 3836 | 3825 
3802 | 3760 | 3778 | 3765 | 3752 | 3739 | 3726 | 3712.| 3697 
3668 | 3653 | 3637 | 3621 | 3605 | 3589 | 3572 | 3555 | 3538 
3503 | 3485 | 3467 | 3448 | 3429 | 3410 | 3391 | 3372 | 3352 
3312 | 3292 | 3271 | 3251 | 3230 | 3209 | 3187 | 3166 | 3144 
3101 | 3079 | 3056 | 3034 | 3011] 2989 | 2966 | 2943 | 2920 
2874 | 2850 | 2827 | 2803 | 2780 | 2756 | 2732 | 2709 | 2685 
2637 | 2613 | 2589 | 2565 | 2541 | 2516 | 2492 | 2468 | 2444 


<. С. < <. С “ „ - Г’ 


©5: 6> < 62.65. 62:5> <> <> © 


< 


2396 | 2371 | 2347 | 2323 | 2299 | 2275 | 2251 | 2227 | 2203 
2155 | 2131 | 2107 | 2083 | 2059 | 2036 | 2012 | 1989 | 1965 
1919 | 1895 | 1872 | 1849 | 1826 | 1804 | 1781 | 1758 | 1736 
1691 | 1669 | 1647 | 1626 | 1604 | 1582 | 1561.| 1539 | 1518 
1476 | 1456 | 1435 | 1415 | 1394 | 1374 | 1354 | 1334 | 1315 
1276 | 1257 | 1238 | 1219 | 1200 | 1182 | 1163 | 1145 | 1127 
1092 | 1074 | 1057 | 1040 | 1023 | 1006 | 0989 | 0973 | 0957 
0925 | 0909 | 0893 | 0878 | 0863 | 0848 | 0833 | 0818 | 0804 
0775 | 0761 | 0748 [0734 | 0721 | 0707 | 0694 | 0681 | 0669 
0644 | 6632 | 0620 | 0608 | 0596 | 0584 | 0573 | 0562 | 0551 


< < < ва < С 2 < 2 


— —Щ — — — — — — — — 


0529 | 0519 | 0508 |0498 | 0488 | 0478 | 0468 | 0459 | 0449 
0431 | 0422 | 0413 | 0404 | 0396 | 0387 | 0379 | 0371 | 0363 
0347 | 0339 | 0332 | 0325 | 0317 | 0310 | 0303 | 0297 | 0290 
0277 | 0270 | 0264 | 0258 | 0252 | 0246 | 0241 | 0235 | 0229 
0219 | 0213 1 0208 | 0203 | 0198 | 0194 | 0189 | 0184 | 0180 
0171 | 0167 | 0163 | 0158 | 0154 | 0151 | 0147 | 0143 | 0139 
| 0132 | 0129 | 0126 | 0122 | 0119 | 0116 | 0113] 0110 | 0107 
0101 | 0099 | 0096 | 0093 | 0091 | 0088 | 0086 | 0084 | 0081 | 
0077 | 0075 | 0073 | 0071 | 0069 1 0067 | 0065 | 0063 | 0061 
0058 | 0056 | 0055 | 0053 | 0051 | 0050 | 0048 | 0047 | 0046 


0043 | 0042 | 0040 | 0039 | 0038 | 0037 | 0036 | 0035 | 0034 
0032 | 0031 | 0030 | 0029 | 0028 | 0027 | 0026 | 0025 | 0025 
0023 | 0022 | 0022 | 0021 | 0020 | 0020 | 0019 | 0018 | 0018 | 
0017 | 0016 | 0016 | 0015 | 00151 0014 | 0014 | 0013 | 0013 
0012 | 0012 | 0011 1001110010 | 0010 | 0010 |1 0009 | 0009 
0008 | 0008 | 0008 | 0008 | 0007 | 0007 | 0007 | 0007 | 0006 
0006 | 0006 | 0005. | 0005.| 00605 | 0005 | 0005 | 0005 | 0004 
0004 | 0004 | 0004 | 0004 | 0004 | 0003 | 0003 | 0003 | 0003 
0003 | 0003 | 0003 | 0003 | 0002 | 0002 | 0002 | 0002 | 0002 


а - 


<> 00 4 © бл ом Фомы Фюоею юФочофаьофоно Фочомьышюм но 


+ “ „ ра „ С С р р 


© © © © > <> <> <> о о юм ю юм о. 


0002 |`0002 | 0002 |0002 |-0002 | 0002 | 0002 | 0001 | 0001 


А, х 


=. 
ры" аБЯА 


и 


С = а з 


< 


- мч мч = 


= $262 >С > <> < © << 
>2®юНЯео льфь-—о 


> бо сл в => 


2 


< < < «“ 


+ С з „ 


оюю- сл > ФФ ь = 


С 


С * С <“ 


ый 


а 


ыы 


НЫ 02 20202 Фо фо м юм вона нана 
<Я е льыфюь 
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4 
>. 
й 


Ф” (и ФИУ)(и) Ф(У (и) ФУ П(и) 


Ф’ (и) Ф’’' (и) 


40,3989] 0,0000/—0,3989| 0,0000]--1,1968| 0,0000]-—5,9841 


+0,3970|-—0,0397|—0,3930]--0,1187|-Е1,167!|-0,5915|-—5,7762| | 
-0,3910]-—0,0782|-—0,3754|--0,2315|-- 1 ,0799]|-1,1420]—5,1711 


--0,3814|-—0,1144|—0,3471|--0,3330]--0,9413|-—1,6142|-—4,2223 
+0,3683|—0 ‚1473|—0,3094|--0,4184|--0,7607|-—1,9777|-—3 ‚0129. 
--0,3521|—0,1760|—0,2641|--0,4841|--0,5501|=2,2114|—1,6448 


|--0 ,3332|—0 ,1999|—0,2133|--0,5278|--0,3231—2 ,3052|—0,2324 


0,3122|—0,2186]—0,1593|--0 ,5486]--0 ,0937|—2 ,2601|-|- 1,1136 


40,2897|—0,2318|—0,1043]--0,5469|-—0,1247|-—2 ,0880|--2,2938| 
40’2661|—0,2395|-—0,0506|--0,5244|—0,3203|-=1 ,8095]-+3'2303] _ 
-|--0,2420]-0,2420] 0,0000]--0,4839]—0,4839]-1,4518]--3,8715] 


+-0,2179\—0,2396]--0,0458]10,4290|—0,6091|-—1,0458|-- 4,1959 


.|-+0’1942|—0,2330]--0,0854|--0,3635|-—0 ,6996|-—0,6230|--4,2103 


--0,1714|-—0,2228|--0,1182|--0,2918|-—0,7341!|—0,2130]--3 ‚9475 


40,1497|-—0,2096|-1-0.1437|--0,2180|-—0,7364|--0,1590]-3’4595] 
30, 1295|-0,1943|--0,1619]--0,1457|-=0 ,7042|--0 ,4736|--2,8109 


--0,1109|—0, 1775] --0 , 1730]--0 ,0781|—0,6440]--0,718-Е2 ‚07121 


-+-0,0940|]—0,1599]--0,1777|--0,0176|-—0,5632|--0,8870]--1,3078 


--0,0790]—0,1421|--0 , 1769|-—0,0341|-—0,4692|--0,98091--0,5801 


10,0656|—0,1247|--0,1713|—0,0760]—0,3693|--1 ,0058|—0 ‚0647 
+0,0540|]—0,1080]--0,1620|--0,1080]—0,2700]--0,9718|—0,5939 


4-0,0440]—0,0924|--0,1500]-—0,1302|--0,1765|--0,8915|-—0,9899 
40’0355|-—0,0780|--0,1362|-—-0,1436|—0,0927|--0,7784|-—1,2488 
10,0283|—0,0652|-1-0,1215|-—0,1492—0,0214|--0,6460|-—1,3788 
{0 ’0224|—0,0538|--0,1066|—0, 1483|-4-0,0362|-0,5064|-- 1,3965 


--0,0175|—0,0438 --0,0920|—0, 1424|--0,0800 -0,3697 —1,3242| 


-0,01361—0,0353|--0,0782|—0,1328|--0,1105]--0,2438|—1,1864 
0,0194|1—0,0281--0,0656|!—0, 1207|--0 ,1293!-Е0, 1338|—1,0076 


|0 ,0079]|-—0,0222]-+0,0541|-—0,1073|-+-0,1379]--0,0429|-—0,8097 


0 ,0060|—0:,0173|--0 ,0441|—0,0934|--0,1385|-—0,0281|—0,6110 


--0,0044|]—0 ,0133!-Е0,0854|—0,0798|--0 ,1330]—0,0798|-—0,4254| 


--0,0033|—=0,0101|--0,028|—0,0669]--0 ‚1231|—0,11401—0,2624] 
-0,00241—0,0076]--0,0220]—0,0552|--0,1107|—0,1332|—=0,1271] 


+0,0017|-—0,0057|--0,0170|-—0 ,0444]--0,0969—0 ,1404|—0,0213 
40 ,0012|--0,00421--0,0130|—0,0359|--0,0829|-—0,1384|--0,0561 


—-0,0009|—0',0030]--0,0098]—0,0282|--0,0634|—0,1300]-|-0,1078] 


--0,0006|—0,0022|--0,0073|-—0,0219]--0,0570]—0,1176|-Е0, 1380 


. 
КС $ 


| ‘Таблица 2 (продолжение) 
Производные функции Лапласа 


мы 
ит 


В ат $ 


--0’0004|—0,0016|--0,0054|-—0,0168|--0,0460-—0,1030]--0,1510] 


—-0,00031—0,00111--0,0039'—0 ,0127|--0,0365,—0,0878|-Е0,1512] _ 


—-0,0002|1—0,0008|--0,0028!—0,0095!--0,0284|—0 ‚0730]-- 0,1426 


-0,0001/—0,0005--0,0020|]—0,0070]--0 ‚0218|—0,0594|--0 , 1286] 


| 
9 


РИ 


Двусторонние границы Т-распределения: значения &«, определяемые уравнением 


© 
и 0,1 0,2 0,3 0,4. 0,5 0,6 0,7 0,8 0,9 0,95 0,98 0,99 0,999 
1 |0,158 | 0,325 | 0,510 | 0,727 | 1,000 | 1,376 | 1,963 | 3,078 | 6,31 | 12,706 |31,821 | 63,657 | 636,619 
у. 142 289 445 '617 |0,816 | 1,061 |1,336 | 1,886 | 2,920 | 4,303 | 6,965 | 9,925 | 31,5981 
3 137 277 424 584 765 | 0,978 | 1,250 | 1,638 | 2,353 | 3,182 |. 4,541 | 5,841 | . 12,941] 
4 134 277 | 414 569 741 941 11,190 | 1,533 |2,132 | 2,776 | 3,747 | 4,604 | 38,610 
5 132 267 408 559 727 920 1 1,156, | 1,476, |:2,015.|.2,571 | 3,365 | 4,032 6,8591. 
6 131 265 404 553 718. 906 | 1,134 | 1,440 | 1,943 | 2,447 | 3,143 | 3,707 5,959 |. 
И 130 263 402 549 711 896 | 1,119 11,415 |,1,895 |- 2,365 1 2,998 | 3,499 | ‚5,4051 
8 130.| :.. 262.1 ‚399 546 706 889 | 1,108 | 1,397. | 1,860 | 2,306 | 2,896 | 3,355 | ‚5,041 |. 
И. 261. 398 543 703 883 | 1,100 | 1,383 11,833 | 2,262 | 2,821 | 3,250 4,781 | 
$01429 260 397 | 542 700 $79 11,099] 1,372 | 1812 |. 2,228: 2;7681 13 ЛЕЕВ 
т И 7, 260 396 540 697 876.1 1,088 | 1,363 1 11796 112,201 2,718.13, 6 4,487 | 
12 128 | 209 395 539 695 873 :| 1,083 11,356 11,782. |-> 2.1791 2,687 | '8,055 1 4.3181 
13 128 259 394. 538 694 970] 11079 1,350 МЫ 2160 71565013012 4,221 | 
14 1291 258 393 537 692 868 | 1,076 | 1,345 |.1,761 | 2,145 | 2,624 | 2,977 4,140}. 
15 128 | 258 393 536 691. |; 866 | 1,074 | 1,341 | 1,753. |, 2,131 [2,602 | 2,947 4,073 
16 128 258 392 | 535 690 865 Г Г,.ОЗЕ | 1.3357. 7111,746. | 2,1207'2,583. 2.921 4,0151 
У ТУ 392 534 689 863 | 1,069 | 1,333 | 1,740 | 2,110 | 2,567 | 2,898 3,965 | | 
18 127 257 392. 534 688 962 | 1,067 |,1,330. | 1,734 | 2,103| 2;552 | 2,878 3,922 | 


УЛ 


} 


Табания: 


1 
\ $ (#) &=а 
-1а 


0,1 О.в 0,4 0,5 
Г 
19. | 197.4 257 |1 391 533 | 688 
50 [1279571991 533 |. 687 
21 | 127 | 257 | 391 | 532. | 686 
22 | 127 1 1256 | 380 532 | 686 
28 | 127 | 256 | 390 |532 |. 685. 
24 | 127 | 256 | 390 | 531 |“ 685 
25.4 1271 956. | 390: 59 5 
26 |:127`|. 256. | 5390 |. 531 684 
27 | 127 | 256 | 389. | 531 684 
28 | 127 | 256 | 389 | 530 | 683 
29 | 127 | 256 | 389 |; 530 | 683 
30 | 127 | 256 | 389 | 530 | 683 
40 | 126 | 255 | 388 |529 | 681 
60| 126-2545 |.1387 | 1527 7, -679 
120 | 126 | 254 | 386 | 526 | 677 
% | 126 | 253 :| 385 |. 594 


674. 


2,539 
2,528 
2,518 


_ 2,508 


2,500 


2,492 


2,485 
2,479 


9,473 


2,467 
2,462 
2,457 
2,423 
2,390 


_2,358 


2,326 


3 (продолжение) 


99 


2,861 
2,845 
2,831 


.2,819 
2,807 
то 797 


2,787 


ИР. 
2771 


2,163 
2,756 
2,150 


‘2.704 


2,660 


2,617 
‚2,576. 


0,999 


3,883 


3,767 
3,745 


3795 


3,707 
3,690 
3,674 
3,659 
3,646 
3,551 
3,460 


9:373. | 


3,291 


` 3,850 | 
3,819 | 
3,792 


А 
®* 


РТ" 


Таблица 4 


Двусторонние границы Х?-распределения: значения $, 
определяемые аа 


А/(1-е &)* + 


ре (2) г = а, *) 
ЖЕ 


906 .|1,602 |2 ,946 | 6,923: 
473 |0,678 | 1,125| 2,086 |3,400 | 5,857 | 8,500 
370 | 482 | 0,730 | 1,270 | 1,932 | 3,000 | 4,200 
306 | 398| `563| 0,941 | 1,382 | 2,056 | 2,700 
277 | 348| 475| 738|1,104 | 1,594 | 2,000 
251 | 308| 416| 62310,918|1,306 | 1,650 
232.| 290| 380| 576| 800|1,143| 1,393 
216 | 269| 354| 516| 713|0,986 | 1,295 
202 | 252| 329| 476| 650| 8891 1,094 
192 | 239| 304| 442| 596|] 814|0,980 
`176 | 218| 276| 388| 527| 700| '840 
162 |. 290| 952| 357| 468| 620| 740 
150 | 188| 236| 325| 422| 564| 67111,02. 
143 | 177| 223| 9297| 390| 500| 60010,92 
136 | 168| 210| 282| 370| 480| -567| 85 
122 | 148| 187| 247| 317| 408| 485| 70 
111 | 137| 172| 226| 281| 369| 425| 60 
101 | 127| 156| 207| 261| 347| 400| 56 
‚095 | 119| 146| 193| 242| 312| 375|. 52 
089 | 112| 139| 184| 298| 288| 350| 48 
084 | 105| 133| 174| 912| 270| 31| 45 
077 | 095] 122| 155| 193| 242| 283| 40 
072 | 088| 412| 145| 180] 222|` 250| 37 
067 | 082| 103| 1381 167| 200| 236| 35 
063 | 078| .096| 131| 151| 192| 220| 32 
060 | 074] 092| 195] 146| 184| 200| 30 
050 | 060| 075| 096|] 125] 146] 167|0,295 
042 | 053| 065| 084| 100| 133| 144| 190 
038 | 048| 058| 076| 091| 115| `135| 175 
| 028 | 031| 041| 054| 064| 077| 085| 195 
1000 | 016| 019 | 025| 037| 044| 047| 056| 059| 080 


“ 


о о ь з р 


Л <> <>До.Д<>Д <>) 
де <> <> До Д <> <=) 


а 


— = ыы м № сл 


*) (1 а = тах (1 —8%, 0). 
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9/7 


Ух Фуа 
Таблица 5. И 
. 2 Е й 
Верхние 100 (1—0) %-ные точки // ?-распределения: значения {> , определяемые уравнением Рь(х2)= \ ре (г) аг = | 
0 } Нм 
(9 | | (. 
0,01 0,02 0,05 0,10 0,20 0,30 | 0,50 0,70 | 0,80 | 0,90 | 0,95 0,981! 0,99 |0,999 ый 
1 0,000 | 0,001| о.004| 0,016 | 0,064| 0, 143| 0,455] 1,0741 1,642| 2,71 3, 8А 5,41 | 6,64 | 10, 83 $ 
2 0,020 | 0,040 |`0’103| 0,211| 0,446| 0,7131 1,386 | 2,41 3,22 4,60 15,99 |. 7.321 9;21113182 й 
Е. 0,115 | 0,185 | 0352] 0,5841 1,005 | 1,424] 2,37 3,66 4,64 6,25 7,82 | 9,84 | 11,34 | 16,27 
4 0,297 | 0,429| 0’711| 1,064 | 1,649| 2,20 3,36 4,88 | 5,99 7,78 9,49 | 11,67 |13,28 | 18,46 , 
5 0,5541 0,7591 к 145 | 2.01 234 3,00 4,35 6,06 7,29 9,24 | 11,07 | 13,39 | 15,09 | 20,5 И 
6 0,872 | 1,134 | 1’635| 2,20.] 3,07 3,83 5,35 7,23 8,56 | 10,64 | 12,59 | 15,03 | 16,81 | 22,5 | 
7 1,239 | 1,564 |'2’17 2,83 | 3, 82 4,67 | 6,35 8,38 | 9,80 | 12,02 | 14,07 | 16,62 |18,48-| 24,3 
8 1,646 | 2,03 2,73.| 3,49 4,59 5,53 7,34 9,52 |11, 03 13,36 1 Бат, 168.1 О Гав 
9 2,09 2.53 3,32 4,17 5,38 6,39 8,34 |10,66 |12,24 14,68 | 16,92 | 19,68 |21,7 | 27,9 
10 2,56 3,06 3,94] 4,86: | 6,18: 1 72,27 9,34 111,78. | 13.44 '| 15,99. 18,31 | 21,57 123,2 1996 
11 3, 05 3,61 4,58 | 5,58 | 6,99 8.15. 110;34. | 12190` 11463 | 17,28 |119 68 122.6. [194,7 31.8 
12 3,57 4,18 | 5,23 | 6,30 1,81 | 9,03 111,34 |14,01- 115,81 |,18,55 | 21,0 24:1 | 26.2) 
13 4,11 4,76 | 5,89 7, 04 8,63. | 9,93 112,34 |15,12. |16,98 | 19,81 | 22,4 25,5 |27,7 | 34,5 
14 4,66 |`5,37 ОЙ С С И И еси А 23,7 26,9 |29,1 |36,1 ' 
15 5,23 5,98 | 7.96 | 8,55 110,31) 111,72 114,34 [17,32 |:19,3. | 52:3 25,0 | 28,3 130,6 | 37,7 
16 5,81 6,61 7,96 9,31 |11,15 | 12,62 |15,„34. 118,42 |20,5 23,5 26,3 29,6 -| 32,0 | 39,3 
17 6,41 7, 26 8,67 |10,08 | 12,00 |13,53 | 16.34 [19,51 |21,6 24,8’ | 27,6 | 31,0 133,4 |40,8 
18 7,02 | 7,91 | 9,39 |10,86 [12,86 |14,44 |17,34 |20,6, |22,8 26,01 98.9. | 39:3: | 34.8 /|148;3 ВЕ, 
- 19 7.63 №5 [10...16 5 113579 415195 118134 19.Т. 123.9: 197.2 30,1 33:7: 136.2] 3. а 6. 
20 8,26 9,24 |10,85 |12,44 [14,53 [16,27 |19,34 |22,8 95,0 28,4 31.4 35,0 137,6 |45,3 !, 
21 8,90 9,92 |'11,59 |13,24 [15,44 |17,18 |20,3 23.9 1706,2 29,6 32,7 | 36,3 |38,9 |46,8 у 
9,54 |10,60 |12,34 |14,04 |16,31-1|18,10 [21,3 24:9. 1] ВЯ 30,8 33.9. |-37,т. 140,3. [48:8 о 
10,20 |11,29 [13,09 |14,85 | 17,19 |19,02° | 22,3 26,0 28,4 32,0 | 35,2 || 39,0 41,6” | 49.7 | 
10,86 | 11,99 |13,85 |15,66 |18,06 |19,94 |23,3 27.41 29,6 ‘33,2 36,4 | 40,3 143.0. 161.2 И 
11,52 .| 12,70 |14,61 |16,47 [18,94 |20,9 24,3. 1128,9 30,7 34,4 (1.81.7 1741.6. 144, 3. |955 Ч 
12,20 113,41 |15,38 (17.29 [19,82 [91.8 2 $ 
12.88-14.12 116.15 118 АЕ 120.7 о: 3 к. 
13,56 |14,85 |16,93 |18,94 |21,6 23,6 4 К 
14.26. | 15:52 17. 7Ь 119.77: 1722.5 24,6 5 
14,95 746.31 418.49. 120.0 193,4 105.5 5 
\ 


р м 


р“ ЦИЯ 
ат 
АКИ 


Таблица Ее 


Верхние 5%-ные и 1%-ные точки Е-распределения: 
значения }х, определяемые уравнением — 


Го 


Быы)ы ) ра (9 ара 


Значения о; К 5%-ные точки) ^ 


161,401199,501215,70]224,60]230,20]234,001238 ‚90]243 ‚901249 ‚00]254,30 
18,51| 19,001 19,16] 19,25] 19,301 19,33] 19,37| 19,41] 19,45] 19,50] 
10,13] 9,55 9,28] 9,12] 9,01 8,94| 8,84] 8,74| 8,64 8, 53 
7,7 6,94| 6,59: 6,39! 6,26| 6.16] 6,04] 5,91 5,77| 5,63 

6,61| 5,79] 5,41| 5,19| 5,05| 4,95] 4,82| 4,68] 4,53] 4,36 

5,14| 4,76] 4,53| 4,39] 4,28| 4,15 4,00] 3,84] 3,67 

5,591 4,74| 4,35| 4,12] 3,97 3,87| 3,73| 3,57| 3,4 3,23 

5,32| 4,46| `4,07| 3,84] 3,69] 3,58] 3,44| 3,28] 3,12| 2,93]: 


— | ” В 
> ‹© 00 45 сл > № — 
$ 


17| 4,45] 3,59] 3,20] 2,96] 2,81| 9,70] 2,55] 2,38] 2,19 1,969 
18| 4,4! 3,55| 3,16] 2,93| 2,77| 2,66 2.51 2,34] 2,15 1,92 
19! 4,33] 3,52| 3,13| 2,90] 2,74| 2,63] 2,48 2,31 21 1,88 
20| 4,35] 3,49] 3,10] 2,87| 2,71 2,60] 2,45 2,28] 2,08! 1,84 
21| 4,32] 3,47 3,07| '2,84| 2,68 9,57 2,42 2,95 29,05 1,81 
22| 4,301 3,44| 3,05| 2,82| 2,66] 255] 2,40] 2,23] 2,03| 1,78 
23| 4,28] 3,42] 3,03| 2,80] 2,64| 2,53| 2,38! `2,20] 2,00! 1,76 
24| 4,26| 3,40] 3,01| 2,78| 2,62! 2,51 2,36’ 2,18] 1,98 1,7 
25| 4,24| 3,38] 2,99] 2,76| 2,60] 2,49] 2,34| 2,16] 1,96] 1,7 
26| 4,25] 3,37| 2,98] 2,74| 2,59 2,47 2,32 9,15 1,95 1,6 
27| 4,2 3,35 2,96] 2,73| 2,57| 2,46] 2,30] 2,13 1,93 1,6 
28| 4,20| 3,34| 2,95] 271 2,56] 2,44] 2,29 2,12 1,91 1,6 
29] 4,18] 3,33| 2,93| 2,70! 2,54| 2,43| 2,28 29,10] 1,90 1,6 
30] 4,17| 3,32! 2,92| 2,69] 2,53| 2,42] 2,27| 2,09] 1,89] 1,6 
40! 4,08| 3,23| 2,84] 2,61| 2,45] 2,34] 2,18] 2,00] 1,79] 1,5 
60| 4,00] 3,15| 2,76]. 2,52|] 2,37| 2,25] 2,10] 1,921 1,70 1,3 
120] 3,92! 3,07| 2,68 2,45] 2,29] 2,17 2,02] 1,83] 1,61! 1,2 
| 3,84| 2,99! 2,60] 2,37| 2,21 2,09] 1,94] 1,75 1,52] 1,0 


© моля 


*) Эта таблица заимствована из [35]. - 
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Таблица 6 (продолжение) | 


Значения Хз, (верхние 1%-ные точки) _ 


98,49 | 99,00 199,17 199,25 | 99,30 | 99,33 | 99, 36 |99,42199,46199,50 
34,12 | 30,81 129,46 | 28,71 | 28,24 | 27,91 | 27,49 |27,05|26 ,60|26, 12| 
21,20 | 18,001 16,69 | 15,98 | 15,52 | 15,21 | 14,80 |14,37|13,93113,46 


| 13,74 | 10,92| 9,78| 9,15 8,75| 8,47| 8,10] 7,721 7,31 °6,88 
12,25 | 9,55| 8,45| 7,85| 7,46| 7,19| 6,84| 6,47| 6,07| 5,65 


1 
2 
3 
4 
51 16,26 | 13,27 | 12,06 | 11,39 | 10,97 | 10,67 | 10,27 | 9,89] 9,47| 9,02 
С 
8| 11,26 | 8,65| 7,59| 7,01| 6,63| 6,37| 6,03] 5,67| 5,28] 4,86 
9 


10,56| 8,02| 6,99| 6,42| 6,06|`5,80| 5,47| 5,111 4,73] 4,31 
10] 10,041 7,56| 6,55| 5,99| 5,64| 5,39| 5,06| 4,71] 4,33] 3,91 
11| 9,65| 7,20| 6,22| 5,67| 5,32| 5,07| 4,74| 4,40] 4,021 3,60 
12| 9,33| 6,93| 5,95| 5,41| 5,06| 4,82| 4,50| 4,16] 3,78] 3,36 
13| 9,07| 6,70| 5,74| 5,20| 4,86| 4,62| 4,30| 3,96] 3,591 3,16 
14| 8,86| 6,51| 5,56| 5,03| 4,69| 4,46| 4,141 3,80] 3,43| 3,00 
15| 8,68| 6,36| 5,42| 4,89| 4,56| 4,32| 4,00| 3,67 3,29] 2,87 
16| 8,53] 6,231 5,29| 4,771! 4,44 | 4,20| 3,89| 3,551 3,18] 2,75 
17| 8,40| 6,111 5,18| 4,67| 4,34| 4,10| 3,791 3,45] 3,08| 2,65 
18| 8,28| 6,01| 5,09] 4,58Г 4,25| 4,01| 3,711 3,37 3,00] 2,57 
19] 8,18| 5,93| 5,01] 4,50| 4,17| 3,941 3,631 3,30! 2,921 2,49 
20] 8,10| 5,85| 4,94| 4,43| 4,10| 3,871 3,561 3,23] 2,86] 2,42 
21| 8,02| 5,78| 4,87| 4,37| 4,04| 3,81| 3,51| 3,17| 2,801 2,36 
22] 7,94| 5,72| 4,82| 4,31р 3,99| 3,76| 3,45| 3,12] 2,75] 2,31 
23| 7,88| 5,66| 4,76| 4,26| 3,94| 3,71| 3,411 3,07| 2,70] 2,26 
24| 7,82| 5,61| 4,72| 4,22| 3,901] 3,67| 3,36 | 3,03] 2,66] 2,21 
25| 7,77| 5,57| 4,68| 4,18| 3,86| 3,63| 3,32| 2,99] 2,62! 2,17 
26| 7,72| 5,531] 4,64| 4,14| 3,82| 3,59| 3,29| 2,96|-2,58| 2,13 
27| 1,68|-5,49| 4,60|.4,11| 3,78|'3,56| 3,261 2,93] 2,55] 2,10 
28| 7,64| 5,45| 4,57| 4,07| 3,75| 3,531 3,23| 2,90] 2,52] 2,06 
29| .7,60| 5,42| 4,54| 4,04| 3,73| 3,50| 3,20| 2,87| 2,49] 2,03 
30] 7,56| 5,391 4,51| 4,02| 3,70| 3,47| 3,17] 2,84] 2,47| 2,01 
40] 7,31|.5,18|.4,31| 3,83| 3,51| 3,29| 2,99| 2,66] 2,29] 1,80 
601 7,08| 4,98| 4,131 3,651 3,34! 3,121 2,82| 2,50] 2,12 1,60 
1201 6,85| 4,79| 3,95! 3,48! 3,171 2,96| 2,66] 2,341 1,95] 1,38 
со | 6,64| 4,60| 3,73| 3,321 3,02| 2,80] 2,51| 2,18] 1,79] 1,00 
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горя АЯ 


Таблица 7 | 


у 


Предельное распределение Колмогорова К (и) = ь а 


. У\У=-х 
Е ЕН 

Е ЗАК Вь ВРНКЕ 7 

_|0,310,0000| 0000 | 0000 | 0001 10002 10003 | `0005 10008 | 00131 0019 
_10,4| 0028 | 0040 | 0055 | 0074 10097 10126| 0160 | 0200 | 0247 | 0300 
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ОСНОВНЫЕ ОБОЗНАЧЕНИЯ 


_А, В, С,...-— события, множества, в некоторых случаях матрицы 
( А; или ьз А; — объединение _ (сумма) событий, множеств. 


5ЕЗ $Е 5 
П А; — пересечение (произведение) событий, множеств 
5Е$ 


а собаь (или множество) В, представляет собой подсо- 
бытие (подмножество) события (множества) А 


А— событие, противоположное А’ 

© — элементарное событие | 

® — достоверное событие, пространство элементарных событий 
(2 — невозможное событие 

<Ф — поле событий множеств, алгебра событий, 0- -алгебра событий 
АЕ. — событие принадлежит полю событий, множеств . 


Х, У, 2,...-случайные величины, скалярные или векторные 
х, у, 2,...— возможные значения или реализации случайных ве- 
линин Ху: 2,...- 


# (©) — плотность случайной величины Х 

Е (х) —функция распределения случайной величины Х 

|(х, у) —совместная плотность ‘случайных величин Х, У 

Е (х, и) — совместная унция ет, случайных вели- 
чин Х, У 

#1) — условная плотность случайной величины Х п при данном 
значении у. случайной величины У 

Е (х| у) — условная функция распределения случайной величины Х 
при данном значении у случайной величины У | | 
_ 1(х) —единичная функция, равная | при х > 0, 1/2 при х=о0 
и 0 при х< 0. 

6 (х) — дельта-функция ника производная от 1 (х) 

1в (х) — индикатор области.В, т.е. а равная | в области В 
и О вне В 
о (В) —мера области В (длина, площадь, объем,...) 
4х — выборочная дисперсия скалярной случайной величины `Х 


бх „— выборочное среднее квадратическое отклонение случайной 
величины Х 

* > 

Юх, — выборочная ковариация`случайных величин Хи У 

* : о == я С 

Е ‘коэффициент корреляции случайных. величин 
Хи 


\ 
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т‚=МХ — математическое ожидание ореИеЕ навевие) случае 
ной величины Х 
Х'=Х— —т„— центрированная случайная величина Х 
| Р‚=рХ — дисперсия случайной величины Х 

^„,—ковариация случайных величин Х и У 

гху— коэффициент корреляции случайных величин Х’и У 

}х — момент р порядка (второй момент) скалярной случай- 
ной величины Х 


ааа момент второго ‘порядка случайных величин. 
Хи 


ты ух (а) —момент второго порядка случайной величины Хх относи- | 
г: тельно точки а 
уху (а, 5) —смешанный момент второго порядка случайных вели- _ 
— ЧИН Хи у относительно точек а и В 
5: Г.— момент второго порядка (второй момент) векторной случай- 
ной величины Х, оператор момента второго порядка | 

Кх — ковариационная матрица случайного вектора Х, ковариаци- . 
онный оператор 

х— корреляционная матрица случайного вектора хе. 

Гху— взаимный момент второго порядка (второй момент) случай- —— 

ных векторов Х и У, взаимный оператор момента второго порядка = 


=. «, — момент порядка г скалярной. случайной величины : 1 
| и, — центральный момент порядка Г скалярной случайной ве-. -Я 
ЛИЧИНЫ - =>. 


а, .. в, МОМент порядка г случайного вектора (&.-- ... | Ен=Е ве. 
в „„— центральный момент порядка г случайного вектора 


(А-Е...-Н А, =) 
7:—асимметрия или скошенность распределения случайной ве- 
ЛИЧИНЫ 
2 — эксцесс распределения случайной величины 
б,»—медиана скалярной случайной величины аа 
`б›—квантиль порядка р скалярной случайной величины г 
Е а ре 
Е=(63/.—6,/)/2 — срединное или вероятное отклонение или 
елена широта р : 
1, ++.» бо ,-— Децили Е 
Ф (и) —функция Лапласа“ ‹ = 
М [У | х] — условное математическое ожидание случайной вели> 
чины У при данном значении х случайной величины Х 
| с (^) — характеристическая функция случайной величины 
в 21 * 6 — свертка 61 и б> 
%, — семиинвариант АкУуляНЯ порядка г скалярной случайной. 
величины ^ - ` > 
Хт,...В, — семиинвариант порядка г векторной случайной величины 


ВА. ==) Я ое 
Ре, в-— вероятность того, что событие появится т раз при п не-: 
зависимых опытах в 

фи (и) —производящая функция для вероятностей Ри, п г 
ЮВ п-— вероятность того, что при п независимых опытах. событие — 
они не меньше # раз : 
А (Е) — интенсивность пуассоновского потока 
и— среднее число событий, происходящих на данном временном 
ыыы параметр распределения Пуассона 
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— # Ы у и} т ` 
. и 
КРЮ Ч Е: АБАЯ 


| _ обоби | тьюдентово отношение — 
 — пл ОТ ‘распределения "Стьюдента: распределен я) 
енями свободы ^ ее 
;) — плотность распределения. Уишарта_ ея 
плотность Ё-распределения с Ги # степенями свободы 
К) — нормальное распределение с параметрами ти К. 
— предельное распределение. Колмогорова 


-полиномы Эрмита степени п 
‹енка. статистической характеристики ( [2 
ктивность оценки 9 =$Ф (и). ^ 


— функция правдоподобия —— 
высшего порядка малости по сравнению с вели- 


- - 


И Х матрицы А. 
‚9)— бе озаункння 


- верхний «индекс — символ транспонирования_ 


— 


ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ | 


Алгебра множеств 67 

— событий 34 

‚ Алгоритм обучения 440 

Анализ дисперсионный 380, 381 
— последовательный 446- 

— регрессионный 380 

— Факторный 422 

— шаговый регрессионный 380 _ 
Аномальное наблюдение 260 


Аппроксимация = стохастическая 
284 
Асимметрия (скошенность) рас- 


‚ пределения 122 


‚Бейеса формула 47, 458 
Бейесов подход 458. 

Бейесово решение 458 
Бернулли теорема 231 
Бесселева функция 200 

- Бета-функция 203 

Блюма теорема 287 
Борелевское поле событий 35 
Броуновское движение 13 


Взаимная ковариационная мат- 
рица 100 

Вектор случайный 58 

Векторы координатные 116 

— случайные непрерывно-дис- 
кретные 74 

— — коррелированные 100. 

— — некоррелированные 100 

— собственные 109 

Величина случайная векторная 58 

— — дискретная 59 

— — непрерывная 63 

. — — непрерывно-дискретная 73 

— — скалярная 16, 17, 58 

— — центрированная 92 


0 = 


Величины случайные зависимые 
143; 145 

— — коррелированные 97 

— — независимые 143, 145 

— — некоррелированные 97 

— — непрерывно-дискретные 73 

Вероятность апостериорная 48 

— априорная 47 

— безусловная 43 

— геометрическая 26 

— полная 26 

— попадания в интервал 45, 46 

— — — множество 58 

— — = область 65, 76. 

— — — прямоугольник 85 

— — — точку 79 

— события 11, 19 

— условная 28, 40° 

Вероятностное пространство 60 

— — случайной величины 60 

Вращение факторов 425 

— — варимаксное 426 

Выборка 20 

— группированная 24, Е 


‚ — — одномерная 25 


— представительная 336 

Выборочная дисперсия 20 

— ковариация 22 

Выборочное среднее 20 5 

Выборочный ЕЕ корре- 
ляции 22, 23 


Гамма-функция (ге функция) 69 


Геометрическая вероятность 26 
Гипотеза 256 2 
— простая 444 

— сложная 444 


Гипотезы конкурирующие 444 


Гистограмма 23, 24. 

_ Грама — Шарлье ряд 312 
Границы доверительные 227 
Грань нижняя рассеивания оцен- 
_ ки скалярного параметра 264 


_ — — — — векторного ар 


ра 266 
Группа событий полная 39 


Движение броуновское 13 

Двойственности принцип 32 

Декорреляция 109. 

_ Дельта-функция (д-функция) им- 

_ пульсная 207, 463, 464 

_ Дециль 124 - 

Дисперсия выборочная 20 

— скалярной случайной вели- 
чины 92. 

— факторная 422 

Дрейф (тренд) 256 


Зависимость причинная 12 

Задача Бюффона (об игле) 27 

— принятия решения 449 

— проверки гипотез 219, 256 

Задачи решения овиокричериалЬ- 

- ные 453 

о < многокритериальные 453 

Закон больших чисел 231 

— всеобщей связи явлений 12 

— распределения случайной ве- 
личины 59 

Значение возможное 17 

— среднее дискретной случайной 
величины. 88 

о — \-е верхнее 206 

— \-е нижнее 206 

Значения собственные 109 


Идемпотентность 204, 205 
Идентификация 340 

Импульс единичный прямоуголь- 
ный 463 

‚ Интеграл Лебега 67. 

— Римана 67, 89 - 

— Фурье 167 

Интенсивность отказов 42 

‚— пуассоновского потока 55 


я Интервал доверительный 227, 232 


— — для вероятности 232 
— — — коэффициента корреля- 
ции 252 


Интервал доверительный для дис- 
персии 240. 


— — = математического ‘ожида- | 


ния 237. 

— симметричный 128 

Исходы опыта равновозможные 
25, 


Квадрат латинский 392 
Квантиль 123, 129 

— порядка р 123 
Квартиль 124 


Кифера и Вольфовица теорема’ 
292 


Ковариация выборочная 22 


` — скалярных случайных вели- 
чин 96 
— случайных векторов 99, 100 


— средняя за счет факторов 384 


Ковариационная матрица 99, 156 
Колебание случайное 12. 
Колмогорова предельная функция 


‘распределения 327 


- Компоненты главные #110 


Координаты некоррелированные 
— случайного вектора 58 
Корреляционная матрица 99, 
Корреляция 97 

Коши теорема 165 


рочной 23, 96 
— доверия 227 
— корреляции 22, 23 
Кривая Пирсона 310 
— распределения 62 


` — регрессии 150 


Критерий Колмогорова 327 
— Неймана — Пирсона 441 
— Пирсона 444 

Смирнова 331 

согласия 327 

Кронекера символ 109 
Кумулянты 170, 171 


Лапласа ‘функция 128 


Латинский квадрат 392 

Линеаризация нелинейной функ- 
ции 176 

— статистическая 351 — 

«Ложного нуля» правило 21 

Ляпунова метод 286 

— функция 287. 


100 


| Коэффициент р выбо- 


= 


491 


и 


о 


” 


ие а 57, 167 

Максвелла распределение 199 

_ Математическое ожида ние 89 

_Матрица взаимная ковариацион- 
ная 100 

— информационная Фишера 267 


— ковариационная 99, 156. 

— корреляционная 99, 100 | 

— эрмитова неотрицательно опре- 
деленная 102 

— эрмитовски ‘сопряженная 102 

Медиана случайной величины 123, 
129 

Мера 36 

„Метод вероятностный а 
ческий) 15 

— главных компонент 423 

— линеаризации 175 - 

— максимума правдоподобия Фи- 
шера 275 

— минимума 5” 282, 326 

— моментов 212, 281. 

— Монте-Карло (статистического 
моделирования) 331. 

— наименьших квадратов 21 

— наискорейшего спуска 291 

— последовательных поворотов 
осей координат 111 — 

— простого суммирования 425 

— случайного поиска 296 

— статистического моделирова- 
ния (М№нте-Карло) 331 


_ — квадратная 109 


 — стохастических аппроксимаций 


285 
— — вероятностей 190: 


эе сравнения элементов вероят- 


ностей 193 
— треугольной декомпозиции 499 
— функций Ляпунова, 286 
ды функций 
_214 : 
— центроидный (простого сумми- 
рования) 424, 425 — 


‚Методы вероятностные 15 


— статистические 15 
Множество конечное 30 
— несчетное 30 


— нулевой меры 63 


— одноточечное 34 

— пустое 34 ыы 

— счетное 30 

Модели авторегрессии 394 

— детерминированные 340, 355. 
— — распознавания т 


492 ВЕ 


Модели комбинированные 9 —— 


— линейные к: 39 — 


_ 407. | 
— математические 339 $ 
— нелинейные 397, 398 


° — — авторегрессии 404 => 
— обучаемые (обучающиеся) 440 — 
разностными — 


— описываемые , 
уравнениями 394 _ 


— оптимальные распознавания 434 _ 


— принятия решения 449 

— распознавания 431 

— — последовательные 445 
— регрессионные 343, 377 
— — детерминированные 355 
— — полиномиальные 369 
— — стохастические 355. 

— самообучающиеся 440 

— скользящего среднего 395 
— статистические 339, 340 
— стохастические 340, 355 _ 
— теоретические 339 

— факторные 421, 422 


Моделирование аи чайных вели- 


чин 332. 
— событий 335. 
— статистическое 332 


Момент взаимный второго. пор: 


ка 100 


— второго порядка ` (второй) .98, 
О 


— — — относительно точки 98. 
— начальный 121 


— ‚первого порядка (первый) 98 


— ‘случайной: величины 12 


— смешанный второго порядка ‹ 98. 


— — — — относительно точек 
98 ы 
— условный 150 


— центральный второго порядка в 
98 


— — смешанный второго поряд- 
ка 98 

— — порядка г 121 

Монте-Карло метод 331 


Нагрузки на факторы 422 


Надежность 41 


Е Чебышева 219, 220` 


Область доверительная 227, 299 


— — для ковариационной матри- _ 


цы 253 . 
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7. 
кб: 


= "Область доверительная для мате- 


матического ожидания и дис- 


- персии 242 
— — — — — случайного век- 
_ тора 248 
_ < < — плотности 299, 301 
_ — — — функции  ‘распределе- 
_ ния 303 
’ Образ 431 


Обучение модели принятия реше- 
_ ния 459, 461 

_ — моделей распознавания 440 

} _ Объединение _ (сумма) двух собы- 
тий 29 


о — множества событий 30 


= Ожидание математическое 89 

_ __ — дискретной случайной вели- 
_ Чины 87, 88 

— — неслучайной величины 90 

о — — случайной величины 125 


— — случайного вектора 90, 246. 


_ — — условное 149, 150 


т оратор взаимный ковариацион- 


— ный двух случайных величин 101] 

_ — — момента, второго порядка 
- 101 

— ковариационный 101 

— момента второго порядка 101 

_ Операция (оператор). математиче- 

°_ ского ожидания 91 

_- Опыт 16 | 


_ Опыты: независимые 48 


Островершинность 
_ пределения 122 
_ Отклонение выборочное среднее 
_ _ Квадратическое. 21 

`— значимое 321 
_ — случайное 13 
_ — срединное (вероятное) 124 
— среднее квадратическое 20, 92 


кривой рас- 


_ —_ стандартное (среднее квадрати- 


ческое) 92 


_ Отношение обобщенное  стьюден- 


_  Тово 186 

_ — правдоподобия 436 

_— стьюдентово 185, 213 
_ Оценивание интервальное 230. 

_ — линейной регрессии со сдви- 
_гом 365 
- неизвестных параметров 417 
нелинейной регрессии 360 
непараметрическое 298 
параметрическое 298 


ИЕ 


регрессии 356 


параметров распределения 217. 


Оценивание рекуррентное 283 _ 
— — корня уравнения регрессии. 


— — математического ожидания _ 
283 

— — точки экстремума регрес- 
сии 291 

— точечное 230 

— факторов 429 

Оценка асимптотически .нормаль- 
ная 242 

— — эффективная 266, 268. 

— вероятности 231 

— достаточная 270 

— ковариации 246 | 

— ковариационной матрицы 247, 
`358 


— коэффициента корреляции 246 


— максимального. правления 
275 . 

— математического ожидания 247 - 

— матрицы коэффициентов линей- 
ной регрессии 356 ` 

— моментов 245 

— несмещенная 224, 265 

— оптимальная 346 | 

— — в данном классе функций се 
346 - 

— плотности 298, 305 

— смещения .224 

— состоятельная 223. . 

— статистической характеристи- 
ки 223 | 

— функции распределения 303 

— эффективная векторного пара- 
метра 267 

— — скалярного параметра 264 


“Оценки собственных значений 280 


— — векторов 

матрицы 280 
Ошибка измерений 17. 
— случайная 11 


ковариационной 


Параметры распределений 217 


‚ Пересечение (произведение) двух 


событий 30 * 
— множества событий 30 
Пирсона критерий 444 . 
Планирование экспериментов 381 
План латинского квадрата. 392 
— неполный 391 
— полный М№-факторный 386 
— эксперимента полный двух- 
‘факторный 381 


493. 


Плосковершинность кривой рас-. 


пределения 122 
Плотность вероятности 62 
— дискретной случайной 

чины 71 
— п-мерной ® случайной величи- 

ны 77 
— непрерывно-дискретной — ска- 

‚ лярной случайной величины 73 
— проекции случайного вектора 

133 
— случайного вектора 63 
— совместная двух случайных ве- 

личин 142 
— условная случайного вектора 

133 
— — случайной величины `142 
— функции случайного аргумен- 

та 190 | 
— широты выборки 207 
— — разброса 207 
Подмножество ‚ 131 
Подпространства взаимно допол- 
° нительные 131 
`Подпространство 131 


вели- 


Подсобытие 32 ‚ 


Подход бейесов 458 

— минимаксный 459 

— эмпирический бейесов 458 

Полезность решения 450 | 

Поле событий 34 

Полная группа событий 39 

Попадание случайной величины. 

в интервал 79, 127 

— множество 58 

— область 65, 76 

— точку. 79 

случайного вектора в прямо- 

угольник. 85. 

Порядок модели авторегрессии 
394 

Последовательность независимых 
случайных величин 214 

< — Е 414 

псевдослучайных чисел 333 

случайных величин 219 
сходящаяся в среднем квадра- 

тическом (с. к. сходящаяся) 


— — по вероятности (п. в.) 219 
— — почти наверное (п. н.) 219 
Поток событий 53 

— — Пуассона 55 
Правило «ложного нуля» 21 

— решающее 436, 444 


494. 


э 


‚ — каноническое 


Правило решения 257, 258 
— — рандомизированное 438 
— уровня 444 


Предельная функция распределе- | 


ния Колмогорова 327 
Представление плотности линей- 
ной комбинацией данных ‘функ- 
ций 317 
Приближенное представление рас- 
пределений 308 


Приведение случайного вектора к. 


‘вектору с независимыми коор- 
динатами 187 
Признак информативный 431 _ 
Принцип двойственности 32 - 
Проверка гипотез о значении па- 
‚раметра 257 
— — — независимости - 
ных величин 328 


— — — параметрах распределе- 


ния 256 
— распределениях 319 
‚ совпадении вероятностей 


330 


` 257 


— — 


— — значений пар 

— — распределений 329 

Проекции вектора 131 

Прообраз множества 179 

Пространство вероятностное 37, 
59 

— — случайной величины. 60 

— действительное линейное 347 

— значений случайной величи- 
ны 60 ео 

— комплексное линейное: 347 

— линейное или векторное 347 

— элементарных событий 34 

Процесс стохастических аппрок- 
симаций 285 

Пуассоновский поток 55 


Пуассоновское приближение би- 


номиального распределения 57 
Пуассоновское распределение 52, 
55 


Разброс случайный 11 


Разложение асимптотическое 316 


_ной матрицы 110 
— — ‘случайного вектора 116 
— ортогональное плотности 309 
— плотности по ортогональным 
полиномам 315 


случай-_ 


ковариацион- 


а 


Е 


Разложение плотности по полино- 


мам Эрмита 311. 


р случайного вектора по собст- 


_венным векторам 109 


_ Распознавание образов’ 431 


Распределение арксинуса 196 


Г 


 — Логарифмически 


— предельное 
ие: 


— биномиальное 49, 57 


.— вероятностей 37, 55 
_ — выборочного 


коэффициента 
‘корреляции 249 р 
— вырожденное 75 
— — нормальное 160, 162 

— гипотетическое 321 

— дискретной случайной . вели- 

чины 60 

нормальное 
(логнормальное) 69 


_ — многомерное нормальное 153 


нецентральное Рэлея 200 
нормальное 68, 69 

— Максвелла 199 
показательное 69 
полиномиальное 52 . 
_(асимптотическое) 


— Пуассона 52, 55 
равномерное 68, 69 
Рэлея 199 

‚случайной величины 59 


— 


_ — Стьюдента 185 


`Уишарта 211, 386 
— условное 158 
— Эрланга 69 


г В. -распределение 69, 198 


у-распределение 69, 165 


Е-распределение 197 


Т-распределение 185 
Х:распрелеление 196 
х?-распределение 166, 182 


_ Рассеивание снарядов |о 


Реализация случайной величины 17 


Регрессионный анализ 380 
Регрессионные ’полиномиальные 
модели 369 _ 


_Регрессия ‘линейная 361 


— — со сдвигом 365 


_ _ нелинейная 960. 


— одной случайной величины на 
другую 370 

— средняя квадратическая 344, 
345 


_ — — — линейная 346, 350 


Решение бейесово 458 
— минимаксное 459 


— оптимальное 453, 454 . 


Решение бейесово в данном клас- 
се функций 456 

Риск 450 

Рэлея распределение 199 

Ряд Грама — Шарлье 312 


_ — Эджуорта 315 


\ ` 


Свертка функций 202. 


Семиинварианты 170, 171 


Сигма-алгебра  (0-алгебра) 35, 
`67 м 

Сигнал входной 339 = 

о — выходной 339 . 


Символ Кронекера 109 


Симметрия эрмитова 101 


Система кривых ОА 308 

— управления 14 | 

Скошенность распределения слу- 
чайной величины 122 


_ Случай, благоприятствующий со- 


бытию 26 
Смещение оценки 224 
Событие достоверное 1$. 
— невозможное, 18 
Событий полная группа 39 
События зависимые 43 


_ — независимые 43 


несовместные 18, 29 
противоположные 31 
совместные 18 
эквивалентные 33 

— элементарные 33 
Состоятельность оценки а 
— выборочная 20 

Статистика 223 

— достаточная 224 

Стоимость (цена) решения 450 
Стьюдента распределение 185 
Схема случаев 26 

Сходимость ва 219 


ВЕ 


Теорема Бернулли 231 

— Блюма 287. 

— Кифера и Вольфовица’` 292 

— Коши 165. 

— умножения вероятностей для 

° независимых событий 44 

— — математических ожиданий 
147, 148 

— — плотностей 142 

Теоремы предельные 214 

Тренд (дрейф) 256 


равнение максимума- `правдопо- 

_ добия 276 

Уровень значимости 227, 321 

— фактора 381 

‚Условие физической возможности 
системы 395 г 

Учитель 440 

— идеальный 440 

— реальный 440 


Факторы 380, 422 

» коррелированные 426 

Фильтр Калмана 411 

Фишера матрица 
`ная 267 

— метод. максимума ` правдоподо- 
бия 275 

Формула Бейеса 458 

‚ — конечных приращений Е 
ранжа. 292 

— Маклорена 57, 167 


— полного математического ОН 


_ дания 151, 152 

_— полной вероятности 45, 46° 
— рекуррентная для выборочных 
_ средних 284 

— Фишера 251 
Функция аддитивная 36 ь 
— бесселева 200 | 


_ — гипотетическая реранеНЕя 


327 

_ — дискриминантная 436 

— единичная ступенчатая 303 
— измеримая 71, 180 

— кусочно-непрерывная 89 
‘— Лапласа 128 

— Ляпунова 287 

— матричная 90 

— множества 36 

— надежности 41 

— потерь 450 

— правдоподобия 275 


Функция производящая 9 


_— В(р, 9) (бета-функция) 203’ : 


_— = (дельта-функция) Дирака 464 


информацион-. 


_ Эджуорта ряд 315 


Эффективность оценки 266 


— распределения 76, 85, 132 Е. 

— — проекции. ‚случайного век- 
тора 132 С 

— — совместная двух случайвы 
величин 143 а 

— решающая 438, 454 

— счетно-аддитивная 36 

— характеристическая 162, 163 


— 0 (дельта-функция). 207 


б (дельта-функция) 
ная 463 


импуеС- 


Характеристика качественная. 16 
— количественная 13, 17. = 
— статистическая 217, 218 
— числовая случайной величи- 

ны 87 
Хи-квадрат распределение © -рас- 

пределение) 182 


\ 
Частота события 17 
— условная 17, 18 — 1 
Чебышева неравенство 219, 220. 
теорема 235 
Число степеней свободы 182, 185 Е 


5 


. % - = 
Широта семиинтерквартильная 124. 


Эксцесс распределения СлУЗНЕНЫЕ, в. 

величины 122. Е 
Элемент вероятности 67, 193 
Эллипсоид рассеивания 119 


Явления массовые 14 
— случайные 11—13 
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